20120414 videorecognition konushin_lecture04
0 likes559 views
Документ посвящен методам сопровождения объектов и распознавания событий в видеопотоке, обсуждая различные подходы и алгоритмы для отслеживания объектов в условиях изменяющегося фона и различных визуальных условий. Рассматриваются сложности, связанные с ассоциацией объектов и необходимостью точной оценки качества алгоритмов, а также методы обработки данных, такие как использование шаблонов, детекторов и различного рода метрик для улучшения отслеживания. Документ также упоминает автоматизацию видеонаблюдения и распознавание действий, подчеркивая важность точности в обработке видеоданных.
20120414 videorecognition konushin_lecture04
- 1. Сопровождение объектов и распознавание событий Антон Конушин Computer science club, Екатеринбург 13-15 апреля 2012 года
- 2. Сопровождение объектов • Допустим, объект уже выделен на первом кадре. • Вручную рамкой • Детектор объектов • Вычитание фона • Нужно определить его положение на всех последующих кадрах • Результат – след (track) или траектория движения • X(1), X(2), X(3),…,X(N) • Object tracking • Сопровождение объектов • Отслеживание объектов • Слежение за объектами
- 3. Сложность задачи • Изменение по времени • Вид объекта меняется от кадра к кадру из-за ракурса, изменения освещения, внутренних изменений (идущий человек) • Масштабируемость • Видео гораздо больше одного изображения, гораздо выше вычислительная нагрузка • Несколько объектов • В сцене могут быть несколько объектов, которые могут быть похожи друг на друга, перекрывать друг друга и т.д.
- 4. Сложность оценки результата • Для оценки качества работы алгоритмов слежения и настройки параметров требуются размеченные эталонные данные • Подготовить эталонные данные для видео существенно сложнее, чем для изображений • Один эталонный пример для выделения объектов – 1 изображение • Один эталонный пример для отслеживания объектов - 1 видео
- 5. Оценка качества по эталонным данным • Допустим, есть эталонные данные, в которых отмечено положение объекта в каждом кадре (или в ключевых кадрах) • Ошибка сопровождения – покадровое расстояние от измеренного до эталонного следа • Ожидаемая ошибка на видеопоследовательности • Точность (precision) • Надежность (robustness)
- 6. Методы к рассмотрению • Ассоциация обнаружений между кадрами • Сопоставление шаблонов • Кросс-корелляция • На основе карт краёв • «Стая точек» • Сдвиг среднего • Комбинация методов
- 7. Ассоциация выделенных объектов • Допустим, на I(t) и I(t+1) выделении объекты с помощью вычитания фона • Какому объекту (следу) какой блоб соответствует? • Фактически – задача сопоставления или ассоциации данных (Data association) • «Tracking by detection» • Можем каждый объект описать набором признаков • Цвет, текстура, и т.д.
- 8. Детерминированное слежение Алгоритм установления соответствий между объектами, найденными на соседних кадрах с учетом ограничений Варианты: Появление нового объекта в поле зрения Сопоставление сопровождаемому объекту Пропадание объекта из поле зрения
- 9. Простейшая стратегия Сопоставим ближайшее наблюдение следу Простейшая стратегия в более сложных случаях не срабатывает, поэтому исследовались разные ограничения
- 10. Примеры других ограничений • (а) близость • (b) максимальная скорость • (c) малое изменение вектора скорости • (d) общее движение • (e) «жесткость»
- 11. Детерминированные алгоритмы Двухкадровые Многокадровые Подходы к установлению соответствий: • Перебор разных варианты • Энергетическая формулировка: • Для каждого ограничения сформулируем «штраф» • Составим функцию «энергии» сопоставления • Будем оптимизировать энергию с помощью какого-нибудь метода дискретной оптимизации
- 12. Пример работы
- 13. Отслеживание объектов • Что делать, если фон не стационарный или и мы не можем на каждом кадре выделять объекты? • Выделять объекты (те же лица) на каждом кадре вычислительно тяжело • Придётся строить какую-то модель «вида» объекта, и искать на следующем кадре похожий объект
- 14. Схема слежения Представление Инициализация Выбор модели в модели пространства выбранном признаков пространстве … Текущий … кадр
- 15. Схема слежения Старт с Поиск в Выбор текущей окрестности в положения, следующем максимизирую позиции кадре щего сходство Повторение процедуры для следующего кадра Модель Кандидат … Текущий … кадр
- 16. Представление объектов • Как будем описывать объект (модель объекта) ? • Шаблон • Набор точек • Признаки объекта
- 17. Сопоставление шаблонов • Фиксируем изображение объекта (шаблон – pattern) • Будем искать положение шаблона в новом кадре • Например, в окрестности предыдущего положения • Попиксельно будем сравнивать шаблон и фрагмент нового кадра с помощью какой-нибудь метрики
- 18. Метрики (SAD) Sum of absolute differences (SSD) Sum of squared differences (CC) Cross-correlation (NCC) Normalized cross correlation • SAD, SSD – минимизируются (0 – точное совпадение) • CC, NCC – максимизируется (1 – точное совпадение)
- 19. Пример: пульт ТВ • Шаблон (слева), изображение (в центре), карта нормализованной корреляции (справа) • Пик яркости (максимум корреляции) соответствует положению руки (искомого шаблона)
- 20. Пример: пульт ТВ
- 21. Пример: пульт ТВ
- 22. Пример: пульт ТВ
- 23. Пример: пульт ТВ
- 24. Края для сопоставления шаблонов • Мы знаем, что в края – очень информативный признак, и они устойчивы к измненеию освещения • Попробуем использовать только края для поиска / отслеживания объекта • Как эффективно сопоставлять карты краев? • Попиксельно явно нельзя!
- 25. Метрики • Сhamfer Distance •Для каждого пикселя a края шаблона A вычисляем расстояние до ближайшего пикселя b края изображения B r (a, B ) min a b bB Суммируем все найденные расстояния • ChDist ( A, B ) min a b bB aA • Hausdorff Distance •Почти то же самое, но берём не сумму, а максимальное расстояния HausDist ( A, B ) max min a b a A bB Какую метрику использовать заранее сказать нельзя, нужна экспериментальная проверка
- 26. Поиск ближайших пикселей края Вопрос: как найти ближайший пиксель края на изображении?
- 27. Distance Transform «Дистантное преобразование» Для каждого пикселя вычисляется расстояние до ближайшего пикселя края • Многопроходный алгоритм (пометить соседей, потом их соседей и т.д.) • Двухпроходный алгоритм
- 28. Применение DT Совмещаем шаблон и карту DT Вычисляем ошибку, суммирую все значения в пикселях краев (для Chamfer distance)
- 29. Пример поиска с помощью DT
- 30. Сопровождение с помощью карт краёв • Карта краёв шаблона используется для дальнейшего сравнения • Вычисляется метрика Хаусдорфа на основании DT • Шаблон обновляется как набор краёв, ближайших к краям шаблона предыдущего кадра • HUTTENLOCHER, D., NOH, J., AND RUCKLIDGE, W.. Tracking nonrigid objects in complex scenes. ICCV 1993
- 31. Пример работы
- 32. Множество точек • Мы умеем вычислять движение отдельных точек с помощью локального метода оценки оптического потока Lucas-Kanade • Но каждая точка в отдельности может быстро сбиться из-за ошибок в вычислении оптического потока и его несоответствия движению точек сцены • Решение – использование «стаи точек» («flock of features»)
- 33. Пример: отслеживание руки • Стая – множество контрольных точек, удовлетворяющих 2м условиям: • Никакие две контрольные точки не совпадают (порог на близость) • Никакая контрольные точки не уходят далеко от медианного центра (порог на удаление)
- 34. Пример: отслеживание руки • Шаг 1: инициализация • Находим 100 контрольных точек с помощью метода поиска локальных особенностей (Harris corners) в рамке руки • Вычисляем медиану • Вычисляем цветовую статистику в окрестности центра – Одна гауссиана (или гистограмма) – Это модель кожи • Разметить в рамке руки все пиксели, похожие на кожу
- 35. Пример: отслеживание руки • Шаг 2: слежение • Отслеживаем контрольные точки • Если точка нарушает условия стаи, её удаляем • Шаг 3: инициализация новых контрольных точек • Ищем особенности (Harris corners) • Если точка не на коже, то отбрасываем её
- 36. Пример работы
- 37. Мean-Shift («Cдвиг среднего») Инициализац Выбор Модель = ия объекта пространства распределение признаков в слежения признаков объекте 0.35 Квантованная 0.3 0.25 цветовая Probability 0.2 модель 0.15 0.1 0.05 0 1 2 3 . . . m color • Вместо жесткого шаблона вычислим вектор-признак по области объекта • Например, гистограмму распределения цветов
- 38. Слежение сдвигом среднего Модель Кандидат (центр в 0) (центр в y) 0.35 0 .3 0.3 0.2 5 0.25 Probabilit y 0 .2 Probab ility 0.2 0.1 5 0.15 0 .1 0.1 0.05 0.0 5 0 0 1 2 3 . . . m 1 2 3 . . . m color color m m q qu u 1.. m q u 1 p y pu y u1..m p u 1 u 1 u 1 Сходство: f y f q , p y •Будем сравнивать гистограммы опорной модели и положений- кандидатов на новом кадре
- 39. Слежение сдвигом среднего Сходство: f y f p y,q f y • Методы сопоставления шаблонов страдают от проблемы негладкости целевой функции • Небольшие смещения могут привести к резким скачкам ошибки сопоставления • Поэтому мы не можем использовать, например, метод градиентного спуска для поиска оптимального положения • Для решения этой проблемы и был предложен метод Mean-Shift Dorin Comaniciu, Visvanathan Ramesh, Peter Meer, Kernel-Based Object Tracking, PAMI 2003
- 40. Слежение сдвигом среднего Сходство: f y f p y,q f y Изотропное ядро: • Покроем цель изотропным ядром. Веса на границе цели близки к нулю • Теперь небольшие смещения приводят к небольшим изменениям ошибки сопоставления • Ошибка сопоставления становится гладкой (по сдвигу от оптимального положения • Теперь мы можем не перебирать все положения в окрестности, а воспользоваться методом градиентного спуска
- 41. Слежение сдвигом среднего model candidate xi i 1..n Пиксели цели 0 y k ( x) Изотропное, выпуклое, дифференцируемое, монотонно убывающее ядро (Пиксели по краям могут перекрываться, взаимодействовать с фоном и т.д.) b( x ) Индекс ячейки гистограммы (1..m) для пиксела x Вероятность признака u в модели Вероятность признака u в кандидате 2 y xi qu C b ( xi ) u k xi 2 pu y C h k h b ( xi ) u 0. 3 0.3 0.25 0.25 0. 2 0.2 Probabi lity Probability Нормализация Нормализация 0.15 Вес 0.15 Вес пиксела 0. 1 0.1 пиксела 0.05 0.05 0 0 1 2 3 . . . m 1 2 3 . . . m color co lor
- 42. Функция сравнения Модель цели: q q1 , , qm Кандидат: p y p1 y , , pm y Подобие: f y f p y,q ? The Bhattacharyya Coefficient q 1 q q1 , , qm y p y p1 y , , pm y 1 p y T p y q m f y cos y pu y qu p y q u 1
- 43. Гладкая целевая функция Начинаем с Ищем в текущей Максимизируем окрестности сл. позиции сходство кадра q p y f p y , q
- 44. Иллюстрация сдвига среднего Для определенных ядер можно показать, что поиск градиентный спуск превращается в «сдвиг среднего», где: n xw i 1 i i y1 n w i 1 i
- 45. Слежение сдвигом среднего Проблема : Масштаб Масштаб (h) ядра цели должен меняется меняться Решение: Выбираем h, Прогоняем на котором поиск 3 раза с достигается разными h максимум
- 46. Пример работы
- 47. Выбор признаков • В зависимости от разных факторов, объект может быть различим в разных каналах цветности COLLINS, R. AND LIU, Y.. On-line selection of discriminative tracking features. ICCV 2003
- 48. Виды каналов • Построим 49 каналов, как линейные комбинации цветовых каналов:
- 49. Идея оценки каналов • Мы оцениваем, насколько хорошо по каналу отличается объект и фон. • Отберём несколько наилучших каналов • На следующих кадрах мы можем изменить каналы!
- 51. Сравнение методов Один фиксированный канал (MeanShift) Выбор каналов на лету
- 52. Композиция методов • Идея: • Протестировать ряд базовых трекеров на наборе выборок, оценить качество и надежность • Найти зависимость качества трекера от уверенности (confidence value) • Найти хорошо дополняющие друг друга группы методов • При падении доверия к первому методу в группе мы переключаемся на второй метод B. Stenger, T. Woodley, R. Cipolla Learning to Track With Multiple Observers, СVPR 2009
- 53. Тестовые данные • Indoor и Outdoor данные • Во всех присутствует изменение позы, размера, размытие из движения (motion blur)
- 54. Обучение метрики доверия • По тестовым данным обучаем p(e|c), где c – параметр доверия, специфичный для каждого метода
- 55. Каскадное объединение • Если оценка качества по доверию для метода 1 падает ниже порога, переключаемся на метод 2 • Когда все методы дают низкое качество, происходит переинициализация метода
- 56. Примеры работы NCC NCC NCC CM CM CM • Работает NCC, при возникновении motion blur система переключается на CM (color + motion map)
- 57. Примеры работы NCC NCC NCC FF FF MS • Работает NCC, потом переключение на FF (flock of features), потом на MS (mean shift)
- 58. Примеры работы
- 59. Распознавание действий • Огромное количество видеоданных • Действия (action) людей – главные события в кино, новостях, домашнем видео, видеонаблюдении 150,000 uploads every day Для чего может пригодится: • Автоматизация систем видеонаблюдения • «Началась драка у пивного киоска» • Поиск видео в архивах • Найти сцену «Обама пожимает руку Медведеву» • Навигация по контенту •Перемотка до следующей важной сцены (пр. гола)
- 60. Действия (Actions) Определение 1: • Физическое движение тела человека • Атомарное (жест) или KTH action dataset более сложное Определение 2 Взаимодействие человека с окружением с определенной целью • Одно и то же движение имеет разный смысл в зависимости от окружения
- 61. Действия (Actions) Определение 3: • Взаимодействие нескольких человек с определенной целью Драка Кража
- 62. Тестовые базы • Самые известные: • KTH Actions • UCF Sport Actions • Hollywood2
- 63. KTH Actions • 25 человек, 6 действий, 4 сценария (внутри, снаружи, снаружи др. масштаба, снаружи в др. одежде) • Всего 2391 фрагмент C. Schüldt, I. Laptev, and B. Caputo. Recognizing human actions: A local SVM approach. ICPR, 2004.
- 64. UCF Sport Actions • 10 видов «спортивных» действий • 150 видеофрагментов • Можно увеличить с помощью «шевеления»/зеркального отображения M. Rodriguez, J. Ahmed, and M. Shah. Action mach: A spatio-temporal maximum average correlation height filter for action recognition. CVPR, 2008
- 65. Hollywood2 • 10 разных обыденных действий из 69 голливудских фильмов • 1707 фрагментов • Интересно, как можно автоматизировать подготовку таких эталонных данных? •I. Laptev, M. Marszałek, C. Schmid and B. Rozenfeld; "Learning realistic human actions from movies“ CVPR 2008 •M. Marszałek, I. Laptev, and C. Schmid. Actions in context. CVPR, 2009
- 66. Аннотация по сценарию • Сценарии есть для более 500 фильмов www.dailyscript.com, www.movie-page.com, www.weeklyscript.com … • Субтитры (со временем) есть почти для всех фильмов • Можем сопоставить на основе этой информации … subtitles movie script 1172 … 01:20:17,240 --> 01:20:20,437 RICK Why weren't y ou honest with me? Why weren't y ou honest with me? Why Why'd y ou keep y our marriage a secret? did y ou keep y our marriage a secret? 1173 01:20:17 01:20:20,640 --> 01:20:23,598 Rick sits down with Ilsa. 01:20:23 lt wasn't my secret, Richard. ILSA Victor wanted it that way . Oh, it wasn't my secret, Richard. 1174 Victor wanted it that way . Not ev en 01:20:23,800 --> 01:20:26,189 our closest friends knew about our marriage. Not ev en our closest friends … knew about our marriage. …
- 67. Извлечение действий из сценария • Высокая вариабельность описаний в тексте: GetOutCar “… Will gets out of the Chevrolet. …” действий “… Erin exits her new truck…” Потенциальн “…About to sit down, he freezes…” ая ошибка: • => Классификация текста с учителем
- 68. Неустранимые ошибки Автоматическую разметку необходимо потом просматривать на наличие ошибок Пример ошибки A black car pulls up, two army officers get out.
- 69. Распознавание действий “стабильные по виду” объекты “атомарные действия car exit phoning smoking hand shaking drinking • Человек может некоторые действия распознать по статичному изображению • Много сложностей: • Все обычные сложности при распознавании • Некоторые действия не возможно определить по одному кадру • Для описания действия нужно распознавать несколько предметов и их взаимное отношение
- 70. Подходы к распознаванию Распознавание событий – одна из самых сложных задач в компьютерном зрении, сейчас ей уделяется очень много внимания: • Одноуровневые подходы • Анализ последовательностей событий (HMM) • Пространственно-временные признаки • Иерархические подходы • Синтаксические/статистические методы • Методы на основе описаний (description-based) Мы рассмотрим только один вариант – одноуровненый подход на основе пространственно-временных признаков
- 71. «Скользящее окно» time time time time • Применим к видео схему «скользящее окно» • Выделим фрагмент - пространственно-временной параллелепипед • Возникают задачи, аналогичные задачам классификации изображений и поиска объектов, но для 3х мерного пространственно-временного объема
- 72. Задачи распознавания в видео • Задачи, аналогичные задачам классификации изображений и поиска объектов, но для 3х мерного пространственно-временного объема • Классификация видеофрагмента • Поиск действий в видео (3D bbox) • Можем применить наработанную методологию • Вычисление признаков (но уже по объему) • Поиск особых точек • Построение словарей • Классификация (Nearest Neighbor, SVM, Boosting) • И т.д.
- 73. Распознавание событий 30и пиксельный человечек Alexei A. Efros, Alexander C. Berg, Greg Mori and Jitendra Malik. Recognizing Action at a Distance. ICCV 2003
- 74. Идея • Движение – информативный признак и позволяет распознать многие действия без распознавания объектов и их взаимодейстия • Этот алгоритм – наглядный пример важности использования движения, даже в простой форме • Будем сравнивать тестовые объекты с примерами из базы с помощью Nearest Neighbor
- 75. Задача и её свойства • Распознавать события (действия человека) на расстоянии • Низкое разрешение, шумные данные • Движущаяся камера, перекрытия • Широкая гамма событий • Объект существенно перемещается между кадрами
- 76. Сбор данных • Отслеживание • Инициализируется пользователем • Простой коррелятор
- 77. Представление • Стабилизированный пространственно-временной объем • Нет информации о перемещении • Всё движение вызвано движением конечностей человека • Стабилизировать «окно» нам важно потому, что объект быстро меняет своё положение в кадре • Если это не так, то можной обойтись без стабилизации
- 78. Схема распознавания • Будем аннотировать видеопоток сопоставляя его с ранее записанными видеофрагментами • Для каждого кадра, сопоставим фрагмент в некотором временном интервале • Распознавание через сопоставление (Nearest Neighbor) input sequence motion analysis run jog swing walk left walk right database
- 79. Дескриптор движения Изображение Оптический поток Fx , y Fx , Fy Fx , Fx , Fy , Fy сглаженные Fx , Fx , Fy , Fy
- 80. Дескриптор движения Временной интервал E … … Фрагмент A S … … Фрагмент B t E A A E I -матрица E B E B Покадровая Матрица сходства Матрица сходства сглаженная I движений
- 81. Действия: сопоставление Исходное видео Сопоставленные кадры вход сопоставление
- 82. Классификация действий: футбол 10 действий; 4500 кадров всего; 13 кадров в дескрипторе
- 84. Аннотированная база событий input sequence run jog swing walk left walk right database Распознавание действий: run walk left swing walk right jog Положения суставов:
- 85. Перенос 2D скелета • База размечена 2D точками в местах сочленений конечностей (суставах) • После сопоставления перенос скелета на новую последовательность • Уточнение (Поиск наилучшего сдвига/масштаба для совмещения карты движения) Исходная последовательность: Перенос скелета:
- 86. “Do as I Do” синтез движения input sequence synthetic sequence • Параметры качества синтеза: • Сходство движений между видео • Сходство внешности между видео • Энергетическая формулировка, динамическое программирование
- 87. “Do as I Do” Исходное движение Исходный вид 3400 кадров Результат
- 88. Замена персонажа
- 89. Наработки в распознавании изображений Область Классифицируем анализа Вычислим Разбиваем Посчитаем Квантуем признаки по область на статистики признаки области блоки по блокам • Особые точки или плотный выбор фрагментов • Разные дескрипторы для описания фрагментов • Квантование (словари, «мешок слов» и т.д.) • Классификация с помощью SVM, Boosting и т.д. Все это адаптировали для классификации событий
- 90. Локальныей особенности • Известные декторы локальных особенностей: • Harris3D (2003) • Сuboid (2005) • Hessian (2008) H. Wang, M. M. Ullah, A. Kläser, I. Laptev and C. Schmid; "Evaluation of local spatio-temporal features for action recognition" in Proc. BMVC‘2009,
- 91. Harris3D Ivan Laptev, INRIA I. Laptev and T. Lindeberg; "Space-Time Interest Points”, ICCV’2003
- 92. Harris3D • Вычислим матрицу вторых моментов, аналогично детектору Harris: Где g – ядро гаусса (сглаживание) σ, τ - параметры масштаба • Функция отклика угла:
- 94. Примеры на видео
- 95. Код • Ivan Laptev’s code • http://www.irisa.fr/vista/Equipe/People/Laptev/download.html#s tip • Piotr's Image & Video Toolbox for Matlab • http://vision.ucsd.edu/~pdollar/toolbox/doc/index.html • Много полезных функций (k-means, meanshift, PCA, ferns, RBF, DOG-фильтры и т.д.) • Hessian executables: • http://homes.esat.kuleuven.be/~gwillems/research/Hes-STIP/
- 96. Плотный выбор точек • По аналогии с обычными изображениями, можно точки выбирать плотно на изображении, а не искать специальным детектором • Обычно выбирают с 50% перекрытием
- 97. Дескрипторы • Jet (2003) • Вектор градиентов: • Расстояние Махаланобиса • Cuboid (2005) • HOG/HOF (2007) • HOG3D (2008) • Extended SURF (2008)
- 98. HOG/HOF Гистограммы по 3D окрестностям точек Гистограмма ориентаций Гистограмма градиентов (HOG) оптического потока(HOF) Public code available at www.irisa.fr/vista/actions 3x3x2x4bins HOG 3x3x2x5bins HOF дескриптор дескриптор
- 99. Построение словаря • Кластеризуем К- средними • Квантуем особенности
- 100. Примеры • Примеры 4х самых часто встречающихся пространственно-временных особенностей
- 101. Классификация по мешку слов • Сравним разные детекторы / дескрипторы с помощью простого алгоритма: • Построим словарь • Построим мешок слов для всего видео • Классификация через SVM с ядром Хи-Квадрат
- 102. Результаты сравнения База KTH Actions База UCF Sports Actions
- 103. Результаты сравнения База Hollywood2 База Hollywood2 – разное разрешение
- 104. Результаты сравнения Размеры окрестностей Оценка скорости
- 105. Пространственное разбиение Для повышения качества распознавания на сложных данных, как и в изображениях, можем разбивать окрестности на блоки и считать признаки для каждого блока, а затем конкатенировать в один дескриптор По пространству 1x1 (стандартный мешок) 2x2, o2x2 (50% перекрытие) h3x1 (горизонтальный), v1x3 (вертикальный) 3x3 По времени: t1 (стандартный мешок), t2, t3
- 106. Многоканальное ядро для SVM Можем подобрать «оптимальную» комбинацию типов признаков и разбиений с помощью SVM с многокальным хи-квадрат ядром для классификации: Канал c – это комбинация детектора, дескриптора и вида сетки Dc(Hi, Hj) – расстояние хи-квадрат между гистограммами Ac среднее расстояние между всеми обучающими примерами Выбор наилучшей комбинации каналов осуществляется жадным методом
- 107. Многокальный SVM Сравнение разных комбинаций Разные сетки и комбинации каналов обеспечивают прирост качества
- 108. Распознавание в кино Примеры работы на данных из кинофильмов
- 109. Устойчивость к шуму Деградация качества в присутствии неправильных меток До 20% неправильных – незначительное снижение качества При 40% - снижение качества на 10%
- 110. Распознавание в кино Сравнение по средней точности для каждого класса при автоматической и чистой (ручной) разметке данных
- 111. Пример
- 112. Выделение событий в видео • Попробуем не просто распознавать присутствие события в видео, но и локализовывать его в кадре • Идея «нацеливания алгоритма» на нужных кадрах I. Laptev and P. Pérez. "Retrieving actions in movies“ ICCV 2007
- 113. Выбранные действия Выберем пару сложных и похожих действий Разница в форме Пить Разница в движении Оба действия похожи по форме (поза Курить человека) и по движению (движение руки) Вариабельность больше, чем для изображений Но движение дает дополнительную информацию
- 114. Тестовая база • Ролики собраны из фильмов “Coffee and Cigarettes”; “Sea of Love” “Пить”: 159 размеченных примеров “Курить”: 149 размеченных примеров Временная разметка Пространственная разметка First frame Keyframe Last frame head rectangle torso rectangle
- 116. Классификация по форме и движению Random motion patterns • Обучим детекторы – 1) по объёму и движению 2) по одному кадру и гистограммам градиентов • Детектор по одному кадру может выделить фрагмент и быстро, но не может отделить «пить» от «курить»
- 117. Нацеливание алгоритма Идея: обучим классификатор по объёму и движению только на тех фрагментах, которые нашел детектор по одному кадру Обучение Positive Negative training training sample samples Тестирование
- 118. Важность «нацеливания» Нацеливание позволяет классификатору действий настроится только на важные признаки для различения действий, и получается лучше, чем пытаться сразу выделить «объём» действия С нацеливанием Без нацеливания
- 119. Примеры работы
- 120. Резюме • Базовые методы – шаблоны, стая точек, сдвиг среднего. • Комбинация методов, выбор каналов позволяют повысить качество слежения • Слежение всегда ошибётся, нужно быть готовым к восстановлению после ошибок • Для распознавания видео мы можем использовать те же подходы, что и к изображению, но переведя их в трёхмерные пространственно-временной объём • Скользящее окно • Особенности, детекторы и дескрипторы • Мешок слов и методы классификации • Данные и их объём является общей проблемой. Нужно использовать «слабую» разметку.