Обнаружение плохих кадров в OpenCV 2.4.9

Что мне приходит в голову при первом подходе, так это проверить несходство между примером действительного кадра и тем, который мы проверяем, путем подсчета пикселей, которые не совпадают. Разделив это число на площадь, мы получим процент, который измеряет несходство. Я бы предположил, что выше 0,5 мы можем сказать, что протестированный кадр недействителен, потому что он слишком сильно отличается от примера действительного.

Это предположение уместно только в том случае, если у вас есть статическая камера (она не движется) и объекты, которые могут двигаться перед ней, находятся не на кратчайшем расстоянии (зависит от фокусного расстояния, но если у вас, например, широкие линзы, поэтому объекты не должны появляются на расстоянии менее 30 см перед камерой, чтобы предотвратить ситуацию, когда объекты «прыгают» в кадр из ниоткуда и имеют его размер больше 50% площади кадра).

Здесь у вас есть функция opencv, которая делает то, что я сказал. Фактически, вы можете увеличить коэффициент несхожести, если считаете, что изменения движения будут более быстрыми. Обратите внимание, что первый параметр должен быть примером допустимого кадра.

bool IsBadFrame(const cv::Mat &goodFrame, const cv::Mat &nextFrame) {
    // assert(goodFrame.size() == nextFrame.size())

    cv::Mat g, g2;
    cv::cvtColor(goodFrame, g, CV_BGR2GRAY);
    cv::cvtColor(nextFrame, g2, CV_BGR2GRAY);

    cv::Mat diff = g2 != g;

    float similarity = (float)cv::countNonZero(diff) / (goodFrame.size().height * goodFrame.size().width);

    return similarity > 0.5f;
}

Вы не упоминаете, используете ли вы командную строку или библиотеки ffmpeg, но в последнем случае вы можете проверить флаг плохого кадра (я забыл его точное описание) и просто игнорировать эти кадры.

удалите waitKey(50) или измените его на waitKey(1). Я думаю, что opencv не создает новый поток для выполнения захвата. поэтому, когда есть пауза, это сбивает процедуры управления буфером, вызывая плохие кадры .. может быть?

У меня есть камеры dahua, и я заметил, что с большей задержкой наблюдаются плохие кадры. И они полностью уходят с waitKey(1). Пауза не обязательно должна исходить от waitKey. Вызов подпрограмм также вызывает такие паузы и приводит к плохим кадрам, если они длятся достаточно долго.

Это означает, что между последовательными захватами кадров должна быть минимальная пауза. Решением было бы использовать два потока для выполнения захвата и обработки отдельно.