Обзор алгоритмов трекинга объектов

Обзор алгоритмов
трекинга объектов
Дмитрий Акимов
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Predator
 Particle Filter
 Graph Evolution-Based Tracking
 Заключение
2

Only for
Maxus 
Введение
Постановка задачи трекинга (1)
3C. Yang et. al, “On-Line Kernel-Based Tracking in Joint Feature-
Spatial Spaces,” DEMO on IEEE CVPR, 2004
Примеры трекинга объектов

Only for
Maxus 
Введение
Постановка задачи трекинга (2)
 Дана последовательность кадров { It(x, y) }
 Задан объект слежения (может быть
несколько)
 Требуется:
 обнаружить объект на каждом кадре
 определить траекторию объекта
4
Антон Конушин, «Слежение за точечными особенностями
сцены (Point feature tracking),» Компьютерная графика
и мультимедиа, Выпуск №1(5)/2003

Only for
Maxus 
Трекинг
Частичная классификация
5

Only for
Maxus 
Слежение
Feature Tracking

6

Only for
Maxus 
Feature Tracking
Детектор Харриса
 Метод основан на поиске областей, похожих
на угол
 Функция отклика угла для изображения I(x, y):
 По предложению Харриса k = 0,4
7

Only for
Maxus 
Feature Tracking
Метод Lukas-Kanade
Сопоставление точки x изображения I в окрестности
Ω(x), требуется найти смещение Δx окрестности:
8

Only for
Maxus 
Feature Tracking
Улучшения LK-метода
Улучшения стандартного LK-метода
достигаются за счет усложнения функции E:
 Tomasi-Kanade – переформулировка задачи
в линейных уравнениях (итеративное решение)
 Shi-Tomasi-Kanade – учет аффинных
преобразований окрестности особой точки
 Jin-Favaro-Soatto – учет аффинных
преобразований и изменения освещенности
9

Only for
Maxus 
Feature Tracking
Результаты (1)
10
Available http://www.youtube.com/watch?v=rwIjkECpY0M
KLT feature tracker

Only for
Maxus 
Feature Tracking
11
Available http://www.youtube.com/watch?v=mwrHlJok2lA
SIFT алгоритм (реализация для мобильных устройств)

Only for
Maxus 
 Predator
 Particle Filter
12

Only for
Maxus 
13

Only for
Maxus 
Первая ассоциация
14
Available http://habrahabr.ru/post/116824/

Only for
Maxus 
Predator
Решается задача трекинга одного объекта
при следующих условиях:
 Работа в реальном времени (on-line, real-time)
 Слежение в течение продолжительного
времени (long-term)
 Отсутствие заранее известной информации
об объекте (no prior information;
всё, что известно – bounding box объекта
на первом кадре)
15Z. Kalal, et. al, “P-N Learning: Bootstrapping Binary Classifiers
by Structural Constraints,” CVPR, 2010

Only for
Maxus 
Predator
Предложенная схема

Only for
Maxus 
Predator
Этап детектирования
Концептуальная схема работы этапа детектирования

Only for
Maxus 
Вычисляемые особенности
 Выбираются случайные
части окна
 Каждая часть кодируется
как 2bitBP особенность
 Особенности случайно
разбиваются на группы
 Каждая группа
передается на вход
классификатору
Вычисление 2bitBP особенности

Only for
Maxus 
Классификатор
 Используется ferned random forest (быстрый,
способен к модификации в процессе работы)
 Первоначальное обучение происходит
на первом кадре
 На каждом кадре классификатор
модифицируется после получения
положительных и отрицательных
примеров объекта

Only for
Maxus 
Predator
Этап трекинга
 Вычисляется движение
между исходным положением
и каждым новым кандидатом
(использован классический
LK-метод)
 Новым объектом считается
ближайший к исходному
положению
Распределение векторов
движения feature points

Only for
Maxus 
Learning
Positive-Negative Constraints
На каждом кадре:
1. Находятся кандидаты
2. Определяется траектория
3. Все кандидаты в окрестности
траектории считаются
положительными примерами
4. Все остальные кандидаты
считаются отрицательными
5. На основе P-N constraints
модифицируется классификатор
Данные трекера и детектора
Модифицированная работа
классификатора

Only for
Maxus 
Precision/Recall-aнализ метода:
Метод устойчив и минимизирует ошибки (λ2 < 1)
P-N Constraints
Устойчивость метода
α(k) – false negative
β(k) – false positive
P+, P– – P-N constraints precision
R+, R– – P-N constraints recall
Динамика α, β срабатываний
в зависимости от собственных
значений матрицы M

Only for
Maxus 
Результаты
Тестовые видеопоследовательности

Only for
Maxus 
Precision/Recall анализ
 Элемент списка
 Элемент подсписка
 Элемент подподсписка
 Еще один элемент подподсписка

Only for
Maxus 
Слабо текстурированный объект

Only for
Maxus 
Схожие объекты

Only for
Maxus 
Predator
Выводы
 Достоинства:
 Работа в реальном времени
 Неограниченная длительность слежения
 Отсутствие стадии off-line обучения
(не требуется априорная информация об объекте)
 Стабильность к перекрытиям
 Недостатки:
 Слежение только за одним объектом
 Требуется ручная инициализация цели

Only for
Maxus 
 Predator
 Particle Filter
28

Only for
Maxus 
Particle Filter
 В основе метода –
классический подход
Particle Filter Tracking
 Усложняется критерий
взвешивания
«испускаемых» частиц
 Область применения –
on-line трекинг большого
числа объектов
29
Available http://www.youtube.com/watch?v=wCMk-
pHzScE&context=C4fa52a5ADvjVQa1PpcFPbqnPnnX8IA53VF5LB2K
jj-pmUobhxVQI=r
Визуализация процесса
«испускания» частиц

Only for
Maxus 
Particle Filter
Схема алгоритма
 Элемент подсписка
 Элемент подподсписка
 Еще один элемент подподсписка
30M. D. Breitenstein et. al, “Robust Tracking-by-Detection using
a Detector Confidence Particle Filter,” IEEE ICCV, 2009

Only for
Maxus 
Particle Filter
Детектор объектов
Используется стандартный HOG (Histogram of Oriented
Gradients) детектор людей
Обнаруженные кандидаты
Карта доверия
(вероятность обнаружения
объекта в конкретной точке)

Only for
Maxus 
Детектор объектов
Сопоставление объектов
Обнаруженные объекты d и объекты
слежения tr требуется сопоставить
1. Для каждой пары (tr, d) вычисляется
функция соответствия s(tr, d)
2. Жадным алгоритмом для каждого tr
выбирается единственное d, пока s(tr, d)
не стало меньше допустимого значения
3. Каждое d соответствует единственному tr

Only for
Maxus 
Сопоставление объектов
Функция сопоставления
ctr – классификатор объекта tr
vtr – скорость объекта tr
p – «испускаемая» частица объекта tr
pN – функция нормального распределения
α, τv – константы
dist(d, vtr) – расстояние от d до линии, задаваемое скоростью
vtr и проходящей через положение объекта tr

Only for
Maxus 
Трекеры объектов
«Испускаемые» частицы (1)
 Объект задан положением
(x, y), скоростью (u, v)
и областью bounding box
 «Испускаемая» частица –
новое предполагаемое
положение объекта:
Пример «испускаемых»
частиц
ε(x, y), ε(u, v) – функции случайного распределения

Only for
Maxus 
Трекеры объектов
«Испускаемые» частицы (2)
Новое положение объекта tr определяет частица
p с наибольшим весом wtr,p
d* – ближайший к частице p
обнаруженный объект
– индикатор сопоставления
объектов d* и tr
dc(p) – карта доверия детектора
β, γ, η – константы

Only for
Maxus 
Particle filter

Only for
Maxus 
Particle Filter
Выводы
 Работа в реальном времени
 Отслеживание большого числа объектов
 Ложные срабатывания детектора
 Нестабильность траектории объектов (за счет
случайного характера «испускания» частиц)

Only for
Maxus 
 Predator
 Particle Filtering
40

Only for
Maxus 
GE-Based Tracking
 Рассматривается задача глобальной
оптимизации траекторий нескольких
объектов в сцене
 Каждая траектория строится из коротких
треков (tracklets, треклеты), найденных
другим методом трекинга
 Требуется найти оптимальное объединение
треклетов в траектории объектов
41B. Song et.al, “A Stochastic Graph Evolution Framework for Robust
Multi-target Tracking,” ECCV, 2010

Only for
Maxus 
GE-Based Tracking
Схема алгоритма

Only for
Maxus 
GE-Based Tracking
Разбиение на треклеты
 Полученные от внешнего трекера
траектории разбиваются на короткие
треклеты
 Траектория разрывается:
 В точках низкого доверия к обнаруженному
объекту
 В точках, где область объекта содержит
большое количество фона
 В областях сближения с другими траекториями

Only for
Maxus 
Взвешивание треклетов
Конечная точка треклета
Вводится функция
вероятности qtl(w|x)
продолжения треклета
из последней точки
треклета x в точку w:
– функция распределения von Mises с параметрами μθ, к
– функция нормального распределения с заданными
средним и дисперсией
Иллюстрация функций вероятности

Only for
Maxus 
Начальная точка треклета
Для треклета вводится функция вероятности
ptl(z), определяющая, является ли z новым
началом треклета:
dbh – расстояние Бхаттачарии до усредненной
модели объекта

Only for
Maxus 
Построение графа треклетов
 Финальная весовая функция для конечной
точки x одного треклета и начальной точки
w другого треклета:
 Вычисляется для каждой пары треклетов
 Определяет вес ребер в графе
сопоставления треклетов

Only for
Maxus 
Оптимизация графа
 Применяется Венгерский алгоритм
оптимизации
 Инициализация траекторий – набор первых
(по времени) треклетов
 Результат работы – множество {λq}
траекторий (последовательностей
найденных объектов eij)

Only for
Maxus 
Найденные траектории
Оценка оптимальности (1)
Для каждой
точки eij
траектории λq
вычисляется
ST – дисперсия X (множества
всех точек траектории)
SW – сумма дисперсий X(1) и X(2)
(подразбиений траектории
относительно eij)
eij

Only for
Maxus 
Найденные траектории
Оценка оптимальности (2)
 Для всех траекторий λq вычисляется:
 Если L(λq) больше заданного числа, то:
 У точек с высоким TAC случайным образом
изменяется вес в графе треклетов
 Оптимизационная задача пересчитывается

Only for
Maxus 
GE-Based Tracking

Only for
Maxus 
GE-Based Tracking
Выводы
 Необычный подход
 Высокое качество трекинга
 Обработка всей последовательности целиком
(не real-time метод)
 Неизвестное время работы (вероятно, большое)

Only for
Maxus 
 Predator
52

Only for
Maxus 
Заключение
Текущая задача (1)
53
Дана видеопоследовательность с большим
количеством движущихся частиц

Only for
Maxus 
Заключение
Текущая задача (2)
54
Требуется сформировать стабильную во времени
маску объектов переднего плана

Only for
Maxus 
Решенные этапы
Стабильная маска кандидатов
55
Присутствует большое количество ложных срабатываний

Only for
Maxus 
Решенные этапы
Пороговая фильтрация по признакам
56
Объекты, чьи признаки находятся на границе порога,
становятся нестабильны во времени

Only for
Maxus 
Текущая задача
Предполагаемый алгоритм
1. Инициализация объектов на первом кадре
2. Вычисление движения в сцене
 Motion Estimation
 Feature Tracking
3. Сопоставление объектов по признакам
4. Ограничения на появление новых
объектов
57

Only for
Maxus 
Литература
1. C. Yang, R. Duraiswami, A. Elgammal, and L. Davis, “On-Line Kernel-
Based Tracking in Joint Feature-Spatial Spaces,” DEMO on IEEE
Computer Society Conference on Computer Vision and Pattern
Recognition, 2004.
2. Антон Конушин. Слежение за точечными особенностями сцены
(Point feature tracking). Компьютерная графика и мультимедиа.
Выпуск №1(5)/2003. Available
http://cgm.computergraphics.ru/content/view/54
3. Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping
Binary Classifiers by Structural Constraints,” Conference on Computer
Vision and Pattern Recognition, 2010.
4. Z. Kalal, K. Mikolajczyk, and J. Matas, “Forward-Backward Error:
Automatic Detection of Tracking Failures,” International Conference on
Pattern Recognition, 2010, pp. 23-26.
58

Only for
Maxus 
Литература
5. Z. Kalal, J. Matas, and K. Mikolajczyk, “Online learning of robust object
detectors during unstable tracking,” On-line Learning for Computer
Vision Workshop, 2009.
6. M. D. Breitenstein, F. Reichlin, B. Leibe, E. K. Meier, and L. V. Gool,
“Robust Tracking-by-Detection using a Detector Confidence Particle
Filter,” IEEE International Conference on Computer Vision (ICCV'09),
Kyoto, JP, 2009.
7. B. Song, T. Jeng, E. Staudt, and A.K.R. Chowdhury, “A Stochastic Graph
Evolution Framework for Robust Multi-target Tracking,” in Proceedings
European Conference on Computer Vision, 2010, pp. 605-619.
59

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
60

Обзор алгоритмов трекинга объектов

More Related Content

What's hot (20)

Viewers also liked (6)

Similar to Обзор алгоритмов трекинга объектов (9)

Обзор алгоритмов трекинга объектов