Обработка областей открытия при распространении карт глубины

Обработка областей открытия
при распространении
карт глубины
Сергей Матюнин
CS MSU Graphics & Media Lab
Video group

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Совместный поиск
областей открытия и OF
 Использование машинного обучения
 Выделение границ объектов
 Заключение
2

Only for
Maxus 
Распространение глубины
Исходное видео
3

Only for
Maxus 
Карта глубины
4

Only for
Maxus 
Пример работы
5

Only for
Maxus 
Основная проблема – «затекания»
6
Исходное видео Полученная глубина

Only for
Maxus 
Причина «затеканий»
7С. Гришин, “Программная система для преобразования
частоты кадров цифровых видео сигналов,” 2009

Only for
Maxus 
Направления улучшения
8
 Двухстороннее распространение с учетом
меры доверия
 Обработка областей открытия
 Отслеживание объектов

Only for
Maxus 
Области открытия
Опорный кадр
9

Only for
Maxus 
Текущий кадр
10

Only for
Maxus 
Поток с областями открытия
11

Only for
Maxus 
Обратный поток с областями открытия
12

Only for
Maxus 
Оптический поток
В ~60 раз медленнее
13A. Ayvaci, M. Raptis and S. Soatto, “Sparse Occlusion Detection
with Optical Flow,” IJCV, 2011

Only for
Maxus 
14

Only for
Maxus 
Встроенное обнаружение
областей открытия
15P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation
using Point Trajectories,” CVPR, 2006
 Стандартные подходы:
 ограничение на гладкость
 постобработка
 Предлагаемая схема:
 устойчивый OF (пирамидальный алгоритм)
 поиск областей открытия (закрытия)
 улучшение границ OF билатеральным
сглаживанием с учетом областей открытия

Only for
Maxus 
Поиск областей открытия
(1/2)
Дивергенция потока:
Выбираем области закрытия:

Only for
Maxus 
Поиск областей открытия
(2/2)
Межкадровая разность:
Объединение критериев:
– функция плотности нормального
распределения
Из экспериментов:

Only for
Maxus 
Модификация оценки OF
Базовый метод: T. Brox et al., “High accuracy optical flow estimation based on a theory for warping,”
ECCV, 2004.

Only for
Maxus 
Фильтрация OF
Радиус фильтрации = 10

Only for
Maxus 
Фильтрация OF
Ускорение
 Модуль градиента потока:
 Сглаживание по Гауссу,
 Сглаживание потока применяется там,
где усредненное значение

Only for
Maxus 
Результаты
Кадр 1

Only for
Maxus 
Кадр 2

Only for
Maxus 
Из статьи (40,53 с)

Only for
Maxus 
Наши (13,74 с)

Only for
Maxus 
Тема статьи –
построение траекторий частиц

Only for
Maxus 
26

Only for
Maxus 
Классификатор
для областей открытия
27A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find
Occlusion Regions,” CVPR, 2011
 Задача классификации
для областей открытия
– длина вектора признаков
– размер обучающей базы
 Random forest (решающий лес)

Only for
Maxus 
Решающий лес
28
http://en.wikipedia.org/wiki/Decision_tree_learning
Набор решающих деревьев
Итоговое решение – результат голосования

Only for
Maxus 
Признак по границам
объектов
Области открытия расположены вблизи
границ объектов
 Canny edge detector

– текущий пиксель
– уровень разрешения изображения

Only for
Maxus 
Признак по постоянству
цвета
Межкадровая разность
по скомпенсированным кадрам:
 – интерполяция для дробных сдвигов
За границами кадра – большие значения

Only for
Maxus 
Постоянство текстуры (1/3)
и – результат действия
текстурных фильтров
– среднее, – дисперсия
в окрестности

Only for
Maxus 
Пример текстурных фильтров:

Only for
Maxus 
Расстояние Махаланобиса:
– дисперсия по и

Only for
Maxus 
Признаки по потоку
Направление векторов

и – медианы компонент потока
по набору алгоритмов OF (4 алгоритма)
 Дисперсия направления потока в окне

Only for
Maxus 
Признаки по потоку
Длина векторов
Среднее оценивается в окне
Признаки на основе дисперсии длины
и направления векторов считаются также
по каждому из алгоритмов

Only for
Maxus 
Относительное движение
Время «столкновения»
противоположных пикселей

Only for
Maxus 
Другие признаки
 Медиана потока по суперпикселям
(сегментация по яркости)
 LRC (Left-Right Consistency)
– поток в обратном направлении
 LRC по углу

Only for
Maxus 
Обучение
ED – близость к границам
Pb – близость к границам (другие
детекторы границ)
PC – межкадровая разность
ST – пространственные текстуры
STM – пространственные текстуры
(Махалонобис)
TG – градиенты медианы потока
по алгоритмам
AV – дисперсия угла
LV – дисперсия длинны векторов
SC – скорость «сближения»
RC – LRC
RA – LRC по углу
FCi – набор метрик оптического потока
FA – дисперсия угла по алгоритмам
FN – дисперсия длины векторов
SP – градиенты потока между
суперпикселями

Only for
Maxus 
Результаты (1/2)

Only for
Maxus 

Only for
Maxus 
Обучение
ED – близость к границам
Pb – близость к границам (другие
детекторы границ)
PC – межкадровая разность
ST – пространственные текстуры
STM – пространственные текстуры
(Махалонобис)
TG – градиенты медианы потока
AV – дисперсия угла
LV – дисперсия длинны векторов
SC – скорость «сближения»
RC – LRC
RA – LRC по углу
FCi – набор метрик оптического потока
FA – дисперсия угла по алгоритмам
FN – дисперсия длины векторов
SP – градиенты потока между
суперпикселями

Only for
Maxus 
Сокращенный набор
признаков
 Только «быстрые» признаки (<2 минут)
 Время обучения: 54  24 минуты
(для 13-ти последовательностей)
 Обработка: 124  1.3 минуты

Only for
Maxus 
Результаты сокращения
набора признаков (1/2)

Only for
Maxus 

Only for
Maxus 
49

Only for
Maxus 
Поиск границ объектов
Исходное изображение
50P. Sundberg et al., “Occlusion boundary detection and
figure/ground assignment from optical flow,” CVPR, 2011

Only for
Maxus 
Желаемая карта границ

Only for
Maxus 
Разность с соседними кадрами
t–1 t+1t

Only for
Maxus 
Градиент по текстуре (1/2)


Only for
Maxus 
Градиент по текстуре (2/2)


Only for
Maxus 
Градиент по движению
и – применение
к и
Удаляем повторные границы:
Используем как дополнительную
информацию

Only for
Maxus 
Исходный кадр

Only for
Maxus 
Межкадровая разность

Only for
Maxus 
Результат

Only for
Maxus 
Ключевые компоненты
 Предположения о границах
 пространственные
 цвет
 яркость
 текстура
 из движения
 Данные оптического потока
 сравнение движения
по разные стороны от границ
Взвешенная карта
границ

Only for
Maxus 
Использование
оптического потока (1/2)
– точка границы
– соседняя область
– область текущей точки
=1, если текущая точка внутренняя
(вблизи нет границ), иначе – 0

Only for
Maxus 
Использование
оптического потока (2/2)
Наилучшее приближение потока:
Поток по разные стороны от границы:
Мера границы по оптическому потоку:

Only for
Maxus 
Итоговая формула
(подобран с помощью SVM)
Дополнительно предлагаются:
 разделение
на связные объекты
 сегментация объект/фон
Предположения
о границах
Предположения
о потоке

Only for
Maxus 
Итоговая формула
P. Sundberg et al., “Occlusion boundary detection and
63
Precision
Recall

Only for
Maxus 

Only for
Maxus 
Без оптического потока

Only for
Maxus 
С оптическим потоком

Only for
Maxus 
Сегментация объект/фон

Only for
Maxus 

Only for
Maxus 
Без оптического потока

Only for
Maxus 
С оптическим потоком

Only for
Maxus 
Сегментация объект/фон

Only for
Maxus 
72

Only for
Maxus 
Заключение
73
 Поиск областей открытия только по потоку
ненадежен
 Нужно
 искать поток одновременно с областями открытия
 учитывать пространственные признаки
 использовать несколько признаков (машинное
обучение?)
 тестировать сегментацию объект/фон
на стандартных базах
 Глобальные оптимизационные методы поиска
OF не такие медленные, как казалось (?)

Only for
Maxus 
Применение
к распространению глубины
74
Улучшение детектора областей открытия
 Избавиться от ошибок типа False Positive
Заполнять области открытия глубиной фона
 Добавить пространственные признаки
Заполнять приблизительные области открытия
только из пространственной информации
Вопросы?

Only for
Maxus 
Литература
1. T. Brox, “From pixels to regions: partial differential equations in image
analysis,” PhD thesis, Faculty of Mathematics and CS, Saarland
University, 2005
2. A. Humayun, O. M. Aodha, G. J. Brostow, “Learning to Find Occlusion
Regions,” CVPR, 2011
3. P. Sand, S. Teller, “Particle Video: Long-Range Motion Estimation using
Point Trajectories,” CVPR, 2006
4. T. Brox, A. Bruhn, N. Papenberg, J.Weickert, “High accuracy optical flow
estimation based on a theory for warping,” ECCV, pages 25–36, 2004
5. P. Sundberg, T. Brox, M. Maire, P. Arbelaez, J. Malik, “Occlusion
boundary detection and figure/ground assignment from optical flow,”
CVPR, 2011
6. С. Гришин, “Программная система для преобразования частоты
кадров цифровых видео сигналов,” 2009
75

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ
и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
76

Обработка областей открытия при распространении карт глубины

More Related Content

What's hot (20)

Viewers also liked (13)

Similar to Обработка областей открытия при распространении карт глубины (19)

Обработка областей открытия при распространении карт глубины