Методы повышения визуального качества восстановленного фона

Методы повышения
визуального качества
восстановленного фона
Михаил Ерофеев
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Гибридное восстановление фона
 Бесшовный монтаж
 Laplacian Pyramid
 Optimal seam
 Poisson Image Editing
 Деформация структуры
 Заключение
2

Only for
Maxus 
Введение
Постановка задачи
Для данного видео и маски неизвестных
точек восстановить, заполнить эти точки
таким образом, чтобы человек не был
способен обнаружить следов редактирования
3
Исходное видео Восстановленный фон
Результат Максима Колиниченко для трейлера «Хоббит»

Only for
Maxus 
Введение
Восстановление фона для стерео
4
Левый построенный ракурс Правый построенный ракурс
Исходный кадр

Only for
Maxus 
 Optimal seam
5M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.

Only for
Maxus 
Восстановление фона
Пространственно-темпоральный метод
Краткая схема метода:
1. Оценить движение с помощью ME
2. Интерполировать поле ME для
неизвестных областей
3. Провести сегментацию объектфон
4. Заполнить неизвестные области согласно
приоритетам

Only for
Maxus 
Детали метода
Интерполяция векторов ME

Only for
Maxus 
Сегментация объектфон
Используется простой метод сегментации –
сравнение модуля векторов ME с порогом
Цель сегментации:
 Восстанавливать неизвестные области
переднего плана перед восстановлением
фона
 Не допустить использования фрагментов
переднего плана для восстановления фона

Only for
Maxus 
Приоритеты блоков


Only for
Maxus 
Выбор блоков кандидатов

10
Текущий кадрПредыдущий кадр
M. Ebdelli, et al, “Examplar-based video inpainting with motion-

Only for
Maxus 
Восстановление блока


Only for
Maxus 
Предложенный метод
Ключевые моменты
 Адаптация зарекомендовавшего себя для
изображений приоритета восстановления
для видео
 Поиск блоков кандидатов с помощью
комбинации ME и поиска ближайших
блоков внутри окна
 «Умное» смешение блоков с наименьшим
SSD

Only for
Maxus 
Результаты (1)
13
Поврежденный кадр (PSNR=9,01 дБ)

Only for
Maxus 
14
Восстановление на основе только векторов ME (PSNR=28,26 дБ)

Only for
Maxus 
15
Восстановление с помощью предложенного метода (PSNR=32,23 дБ)

Only for
Maxus 
16
Исходная последовательность

Only for
Maxus 
17
Поврежденная последовательность (PSNR=14,22 дБ)

Only for
Maxus 
18
Восстановление на основе только векторов ME (PSNR=31,23 дБ)

Only for
Maxus 
19
Восстановление на основе только поиска внутри окна (PSNR=23,41 дБ)

Only for
Maxus 
20
Восстановление с помощью предложенного метода (PSNR=34,96 дБ)

Only for
Maxus 
Анализ
Достоинства:
 Субъективное и объективно более высокое
качество по сравнению с восстановлением
только на основе ME
 Уменьшение заметности шва с помощью поиска
кандидатов внутри окна и «умного» смешения
Недостатки:
 Ненадежная сегментация объектфон
 Тенденция к распространению ошибок
сегментации по всем кадрам результата

Only for
Maxus 
 Optimal seam
22

Only for
Maxus 
Бесшовный монтаж
Введение
Классические применения:
 Склейка панорамы
 Фотомонтаж
23
[3], [4]

Only for
Maxus 
Бесшовный монтаж
Применимость к восстановлению фона
Все известные автору доклада методы
восстановления фона разрабатывавшиеся в
видео группе сталкивались с проблемой швов.
Идея: использовать методы бесшовного
монтажа для маскировки шва
24
Примерышвов

Only for
Maxus 
 Optimal seam
25E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer

Only for
Maxus 
Laplacian Pyramid
Идея метода
Простого смешения изображений в области
перекрытия не достаточно, чтобы обеспечить
плавный переход и избежать двоения границ.
Авторы предлагают независимо смешивать
различные частотные диапазоны.
26E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer

Only for
Maxus 
Laplacian Pyramid
Шаги алгоритма
1. Построить пирамиду от высоких до низких
частот для смешиваемых изображений
2. Провести независимое смешивание уровней
пирамиды, применяя более плавный переход для
низких частот и более резкий для высоких
3. Сложить уровни полученной пирамиды
27
Пример пирамиды разрешений
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer

Only for
Maxus 
Laplacian Pyramid
Результат работы
28
«Яблоко»
Engineer

Only for
Maxus 
Laplacian Pyramid
29
«Апельсин»
Engineer

Only for
Maxus 
Laplacian Pyramid
30
«Яблокосин»
Engineer

Only for
Maxus 
Laplacian Pyramid
Авторы метода
31
Авторы метода: Bergen, Anderson, Adelson, Burt
Engineer

Only for
Maxus 
 Optimal seam
32V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.

Only for
Maxus 
Graphcut для монтажа
Идея метода
33
Применить метод Graphcut для поиска
оптимального шва между монтируемыми
изображениями. Определить веса ребер как
значение SSD перекрывающихся пикселей
V. Kwatra, et al, “Graphcut textures: Image and video synthesis

Only for
Maxus 
34
Исходное изображение Результат монтажа

Only for
Maxus 
35
Исходное изображение Результат монтажа
Исходные изображения Результат монтажа Выбранный шов

Only for
Maxus 
Применимость к восстановлению фона
36
Есть надежда, что оптимальный шов может
отрезать остатки motion blur на фоне
Пример остатков motion blur
на фоне
Motion blur

Only for
Maxus 
 Optimal seam
37P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.

Only for
Maxus 
Poisson Image Editing
Основная идея

38
с граничным условием
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.

Only for
Maxus 
39
Исходные изображения Копирование Предложенный метод
SIGGRAPH, 2003.

Only for
Maxus 
40
Копирование Предложенный методИсходные изображения
SIGGRAPH, 2003.

Only for
Maxus 
41
Исходное изображение Локальное изменение контраста
SIGGRAPH, 2003.

Only for
Maxus 
42
Исходное изображение Локальное изменение контраста
SIGGRAPH, 2003.

Only for
Maxus 
 Optimal seam
43J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.

Only for
Maxus 
Деформация структуры
Основная идея
1. Найти оптимальный шов между монтируемыми
изображения
2. Выделить и сопоставить салиентные точки вдоль шва
3. Построить гладкую модель деформации
4. Применить деформацию к полю градиента
5. Построить результат, решив уравнение Пуассона
44
Пример сопоставления салиентных точек
J. Jia and C.-K. Tang, “Image stitching using structure

Only for
Maxus 
Поиск оптимального шва
45


Only for
Maxus 
Поиск салиентных точек

Only for
Maxus 
Сопоставление салиентых точек

Only for
Maxus 
Построение итоговой деформации


Only for
Maxus 
Построение итогового результата


Only for
Maxus 
50
Конкуренты Предложенный метод.
Найденный шов и
конечный результат

Only for
Maxus 
51
Оптимальный шов Предложенный методПростое смешение

Only for
Maxus 
52
Poisson Editing Предложенный метод
Простое смешение Оптимальный шов
GIST1 Деформация структуры

Only for
Maxus 
53
Исходные изображения Предложенный метод

Only for
Maxus 
Анализ
Достоинства:
 Способен смоделировать произвольную
деформацию
 Визуальное качество превосходит другие state of
art методы
Недостаток:
 Неверное сопоставление салиентных точек может
привести к нестабильности во времени

Only for
Maxus 
 Optimal seam
55

Only for
Maxus 
Заключение
Направления дальнейшей работы

56

Only for
Maxus 
Литература
1. M. Ebdelli, C. Guillemot, and O. Le Meur, “Examplar-based video
inpainting with motion-compensated neighbor embedding,” in Proc. of
the IEEE Intl. Conf. on Image Processing, ICIP, 2012.
2. E. H. Adelson, C. H. Anderson, J. R. Bergen, P. J. Burt, and J. M.
Ogden, “Pyramid methods in image processin,” RCA Engineer,
29(6):33–41, 1984.
3. V. Kwatra, A. Schodl, I. Essa, G. Turk, and A. Bobick, “Graphcut
textures: Image and video synthesis using graph cuts,” in SIGGRAPH,
2003.
4. P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 22(3):313–318, 2003.
5. J. Jia and C.-K. Tang, “Image stitching using structure deformation,”
IEEE Transactions on Pattern Analysis and Machine Intelligence,
30(4):617–631, 2008.
57

Методы повышения визуального качества восстановленного фона

More Related Content

What's hot (20)

Similar to Методы повышения визуального качества восстановленного фона (14)

Методы повышения визуального качества восстановленного фона