99
Человеческий глаз очень чувствителен к дрожанию кадра,
поскольку
лучше всего реагирует движение, а хаотичное движение является сильным
раздражителем для глаза. Поэтому просмотр фильмов с дрожанием кадра
очень неприятен для человека.
Можно выделить четыре разных подхода к подавлению дрожания кадра:
1. С использованием векторов движения (Motion Vectors)
2. С использованием особых точек (Feature)
3. Подход на основе Image-Based Rendering
4. С построением аффинной модели
Алгоритмы подавления дрожания кадра, использующие вектора
движения
Аппарат Motion Estimation используется практически во
всех областях
обработки видео. Задача - определить направление и скорость движения
небольших частей кадра. Для этого кадр разбивается прямоугольной сеткой
на блоки (обычно размера 16x16), и для каждого блока в предыдущем кадре
ищется наиболее похожий блок. Т.е. ищутся такие
),
,
(
y
x
что минимальна
ошибка
S
y
x
i
i
y
y
x
x
I
y
x
I
error
)
,
(
2
1
))
,
(
)
,
(
(
Таким образом, каждому блоку ставится в соответствие пара
),
,
(
y
x
которая называется вектор движения.
Применение Motion Estimation для
подавления дрожания видео
заключается нахождение сдвига кадра. Простейший подход заключается в
определении сдвига кадра, взятием медианы от набора векторов движения.
Таким образом, для последовательности кадров получаем набор сдвигов
)
0
,
0
,
,
(
i
i
i
y
x
T
. А сдвиги без дрожания
*
i
T
получаем применяя к набору из
i
x
и набору из
i
y
фильтр усреднения.
Подавление дрожания осуществляется смещением каждого кадра на
разницу между сглаженным сдвигом и сдвигом в исходном видео, т.е.
i
i
T
T
*
.
Этот подход очень прост и дает не очень хороший результат. К тому же,
он не определяет поворот.
Существуют разные методы Feature Tracking (например, KLT, IPAN), но
каждый, как правило, из двух шагов:
1)
Выбор особых точек (Feature Selection)
2)
Определение смещения особой точки между соседними кадрами
(Tracking)
На этом
этапе производится отбор точек, обладающих набором
определенных свойств, которые в разных методах выбираются по разному,
но обычно их выбирают в окрестностях сильно неоднородных участков
изображений (например, углы).
Для определения смещения особой точки, выделяется некоторая ее
окрестность, смещение ищется путем нахождения в
следующем кадре
области наиболее похожей на выделенную (аналогично Motion Estimation).
100
Алгоритм подавления дрожания кадра на основе метода
Image-Based Rendering
Данный метод использует аппарат особых точек, но основная идея
заключается в использовании Image-Based Rendering (передставление основы
изображения) Поэтому он рассматривается отдельно.
Данный метод работает по следующей схеме:
выбираются особые точки, и для них определяются траектории
полученные траектории сглаживаются, исходя из предположения о
равномерности движения камеры
в каждой особой точке,
координаты которой получены
сглаживанием, определяется значение яркости.
Для определения нового значения яркости в точке выбирается несколько
кадров, в которых положение этой же особой точки близко к полученному
сглаживанием.
Таким образом, установлено, что человеческий глаз очень чувствителен
к дрожанию кадра и просмотр фильмов с дрожанием кадра очень неприятен
для человека. Поэтому применяются специальные меры по устранению
кадрового дрожания на основе методов векторов движения (Motion Vectors),
особых точек (Feature), основе Image-Based Rendering и построением
аффинной модели.
Do'stlaringiz bilan baham: