Некоторые методы сопоставления и трекинга границ во времени

Некоторые методы сопоставления
и трекинга границ во времени
Александр Новиков
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Joint Pixel Features Based Tracking
 Generalized Hough Transform Based Tracking
 Tracking via Edgel Templates
 Заключение
2

Only for
Maxus 
Постановка задач
Задача сопоставления границ
Для пары кадров произвести сопоставление
их карт границ
3
Последовательность Capitol

Only for
Maxus 
Постановка задач
Задача трекинга границ
Проследить движение границ, выделенных
на первом кадре видеопоследовательности
4

Only for
Maxus 
Применение (1)
1. Трекинг объектов
2. Надежный поиск и обработка областей
открытия
5
M.-C. Roh, T.-Y. Kim, J. Park, S.-W. Lee, “Accurate object contour
tracking based on boundary edge selection,” in Pattern
Recognition, Volume 40, Issue 3, 2007

Only for
Maxus 
Применение (2)
3. Избавление от «затеканий», т.е. попадания
значений каких-либо карт за границы
соответствующих объектов
6
Исходное видео Карта салиентности
Последовательность

Only for
Maxus 
Тривиальный подход
Для решения задачи можно использовать
алгоритмы Motion Estimation
Проблемы:
 Блочные методы с простыми метриками
неточны на границах
 Неверная работа на областях открытия
7

Only for
Maxus 
8

Only for
Maxus 
Идея метода
9
Поиск для каждого пикселя границы
на первом кадре его положения на втором
сравнением блоков по некоторой метрике
M. Khansari, H. R. Rabiee, et al., “An Adaptive Semi-Automatic
Video Object Extraction Algorithm Based on Joint Transform and
Spatial Domains Features,” in CBMI, 2005

Only for
Maxus 
Варианты реализации
Поблочное сравнение – самый
распространенный подход
Часто используемые метрики – разница:
 значений цветовых каналов
 модулей/направлений градиентов яркости
10

Only for
Maxus 
Joint Feature Vector
В данной статье используется евклидово
расстояние между Joint Feature Vector’ами
пикселей, состоящими из:
1. выбранных коэффициентов Undecimated
Wavelet Packet Transform (UWPT)
2. значения яркости пикселя
11

Only for
Maxus 
Undecimated Wavelet
Packet Transform (1)
UWPT – один из видов вейвлет-преобразований
Используется авторами в связи с:
 достаточно подробным описанием
окрестности пикселя
 его инвариантностью к сдвигам
 устойчивостью к различным видам шума
12

Only for
Maxus 
Undecimated Wavelet
Packet Transform (2)
1. Строится дерево UWPT и выполняется его прореживание
2. Задается Feature Vector для каждого пикселя кадров
13

Only for
Maxus 
Результаты
14
Референсный кадр Результаты трекинга границы на некоторых кадрах
Кадр №0 Кадр №20 Кадр №47 Кадр №76
Кадр №169 Кадр №176 Кадр №194 Кадр №195

Only for
Maxus 
Выводы
Достоинство:
 Использование привычного поблочного
поиска – возможность использовать ME
Недостаток:
 Относительная сложность реализации
метрики
15

Only for
Maxus 
 Generalized Hough Transform Based
Tracking
16

Only for
Maxus 
По построенным картам границ двух кадров,
для каждого сегмента границы с первого кадра
ищется ближайший по форме со второго
17
M. Murshed, M. Morshed, and O. Chae, “Moving Edge Matching
for Moving Object Tracking,” in Proc. of 14th International
Conference on Computer and Information Technology, 2011

Only for
Maxus 
Generalized Hough Transform
Generalized Hough Transform (GHT) – это метод
представления границы объекта в виде набора
параметров, характеризующих её форму (R-таблицы)
 Позволяет быстро проверять объекты
на схожесть с референсным
 Устойчиво к шуму и искажениям границ
18

Only for
Maxus 
Построение R-таблицы (1)
Для каждой точки исходного сегмента
определяется три параметра: r, β, Ω
19
XRef, YRef – центр ограничивающего
прямоугольника
Xep, Yep – текущая точка
r – длина отрезка между точками
(XRef, YRef) и (Xep, Yep)
β – полярный угол точки (XRef, YRef)
относительно (Xep, Yep)
Ω – угол наклона касательной к сегменту
в точке (Xep, Yep)

Only for
Maxus 
Построение R-таблицы (2)
Параметры каждой точки заносятся в R-таблицу
исходного сегмента
20
Параметры точки сегмента Общий вид R-таблицы

Only for
Maxus 
Алгоритм сопоставления
Для каждого сегмента границ с первого кадра:
1. Строится R-таблица
2. Находятся сегменты-кандидаты в окрестности
поиска на втором кадре
3. С помощью R-таблицы выбирается сегмент-
кандидат, наиболее похожий на исходный
21

Only for
Maxus 
Выбор сегментов-кандидатов
Для исходного сегмента границы на втором кадре
выбираются сегменты-кандидаты, близкие по:
1. длине и ширине ограничивающего прямоугольника
2. углу между прямой, соединяющей начало и конец
сегмента и осью х
22

Only for
Maxus 
Сопоставление кандидатов
с исходным сегментом (1)
Для каждой точки сегмента-кандидата:
1. Вычисляется угол Ω между осью х и касательной
к сегменту в ней
2. Для Ω из R-таблицы извлекаются все пары (r, β),
и от точки откладываются соответствующие векторы
23

Only for
Maxus 
Сопоставление кандидатов
с исходным сегментом (2)
Точка Peak, в которой заканчивается наибольшее
число векторов, считается новым положением
центральной точки (XRef, YRef) исходного сегмента
24

Only for
Maxus 
dx = XMaxPeak – XRef
dy = YMaxPeak – YRef
Определение движения
сегмента границы
 Поиск точки Peak выполняется для каждого
сегмента-кандидата
 Количество векторов, заканчивающихся
в ней, служит мерой надежности сегмента
 Выбирается сегмент с наивысшим
значением надежности, определяется сдвиг
25

Only for
Maxus 
Тестирование метода
Авторы использовали свой метод
сопоставления границ для трекинга объектов
26
Маленький прямоугольник – граница объекта, большой – окно поиска
Видео 640×520 пикселей, скорость работы реализации авторов – 7 fps

Only for
Maxus 
Результаты
27
Результаты трекинга объектов при помощи сопоставления границ
1 2
3 4
5 6

Only for
Maxus 
Выводы
Достоинство:
 Устойчивость к шуму и искажениям
формы границ
 Низкая устойчивость к поворотам границ
28

Only for
Maxus 
29

Only for
Maxus 
Оценка совпадения направлений градиентов
яркости пикселей в окрестностях
сопоставляемых границ
30T. Lee and S. Soatto, “Fast Planar Object Detection and Tracking
via Edgel Templates,” in IEEE WACV, 2012

Only for
Maxus 
Что такое Edgel?
Edgel – пиксель границы, характеризующийся
координатами и направлением градиента
яркости

Only for
Maxus 
Edgel Template (1)
Для сопоставляемых Edgel’ов вычисляются Edgel Template’ы
(ET ) – матрицы, характеризующая их окрестности
Шаг 1: разбиение окрестности на M×M блоков
и вычисление градиентов яркости в них

Only for
Maxus 
Edgel Template (2)
Шаг 2: дискретизация направлений
градиентов,
заполнение матрицы

Only for
Maxus 
Edgel Templates Matching
Метрика степени совпадения двух Edgel
Template’ов имеет вид:

Only for
Maxus 
Edgel Templates Matching
Быстрая реализация
Хранение Template’ов в виде матриц из 0 и 1
позволяет реализовать их сравнение
быстрыми битовыми операциями
B – параметр дискретизации

Only for
Maxus 
Оценка скорости работы
Реализация авторов работает в реальном
времени на видео с разрешением 640×480
36
Время выполнения основных этапов для пары кадров
T. Lee and S. Soatto, “Fast Planar Object Detection and Tracking

Only for
Maxus 
Результаты (1)
37
Результаты трекинга
Векторы сдвига границ между соседними кадрами

Only for
Maxus 
Результаты (2)
38
Результаты трекинга
Векторы сдвига границ между соседними кадрами

Only for
Maxus 
Выводы
Достоинства:
 Высокая скорость работы
 Инвариантность к изменению яркости
 Устойчивость к поворотам
 Вероятность низкого качества работы
в случаях более сложного движения
(авторы привели простые примеры)
39

Only for
Maxus 
40

Only for
Maxus 
Depth from Motion
Текущие результаты (1)
41

Only for
Maxus 
Depth from Motion
42

Only for
Maxus 
Depth from Motion
43

Only for
Maxus 
Depth from Motion
44

Only for
Maxus 
Depth from Motion
Возможные улучшения
 Уточнение границ при помощи трекинга
 Выделение областей открытия дает
возможность:
 полной автоматизации построения карт глубины
 корректной обработки движущихся объектов
45

Only for
Maxus 
Литература
1. T. Lee and S. Soatto, “Fast Planar Object Detection and Tracking via Edgel
Templates,” in IEEE Workshop on the Applications of Computer Vision,
Breckenridge, Colorado, 2012, pp. 473–480.
2. M. Khansari, H. R. Rabiee, and M. Asadi, M. Ghanbari, M.Nosrati, and M.
Amiri, “An Adaptive Semi-Automatic Video Object Extraction Algorithm
Based on Joint Transform and Spatial Domains Features,” in International
Workshop on Content-Based Multimedia Indexing, Riga, Latvia, June 21–
23, 2005.
3. M. Murshed, M. Morshed, and O. Chae, “Moving Edge Matching for Moving
Object Tracking,” in Proceedings of 14th International Conference
on Computer and Information Technology, Dhaka, Bangladesh, December
22–24, 2011, pp. 355–359.
4. M.-C. Roh, T.-Y. Kim, J. Park, and S.-W. Lee, “Accurate object contour
tracking based on boundary edge selection,” in Pattern Recognition,
Volume 40, Issue 3, 2007, pp. 931–943.
46

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
47

Некоторые методы сопоставления и трекинга границ во времени

More Related Content

What's hot (20)

Similar to Некоторые методы сопоставления и трекинга границ во времени (15)

More from MSU GML VideoGroup (6)

Некоторые методы сопоставления и трекинга границ во времени