Denis Perevalov -- Computer Vision with OpenCV 2
- 1. CS Club Екатеринбург 17-18 февраля 2011 Что может и не может компьютерное зрение с OpenCV http://pixdaus.com/pics/1244922167d3Z4fjf.jpg Денис Сергеевич Перевалов www.uralvision.blogspot.com perevalovds@gmail.com УрФУ / ИММ УрО РАН
- 2. План 1. Что такое компьютерное зрение 2. Камеры для компьютерного зрения 3. Знакомство с OpenCV 4. Интеграция OpenCV в мультимедиа-проекты 5. Возможности и ограничения в простых задачах компьютерного зрения 6. Возможности и ограничения в сложных задачах компьютерного зрения 7. Новые применения компьютерного зрения Заключение
- 3. 4. Интеграция OpenCV в мультимедиа-проекты - Низкоуровневые библиотеки - Среднеуровневые платформы - Высокоуровневые среды
- 4. Низкоуровневые библиотеки (Open Computing Language) Обработка, анализ и (Open Graphics Library) Распараллеливание и ускорения Cкоростная графика вычислений, в частности, распознавание средствами GPU. изображений (Open Audio Box2D - Bullet - Веб-сервер Library) физический физический Звук движок 2D движок 3D ВИДЕО и так далее...
- 5. Среднеуровневые платформы Это платформы для "Creative coding", включающие в себя большой набор функций и библиотек, интегрированных для удобного программирования. Processing openFrameworks Cinder язык: Java язык: C/C++ язык: C/C++ Для компьютерного Недавно появился, зрения Java работает набирает популярность. медленно. ВИДЕО
- 6. Высокоуровневые среды Среды "визуального программирования", позволяющее реализовывать проекты без фактического программирования. Важно, что их можно расширять плугинами, сделанными в низкоуровневых средах. Max/MSP/Jitter VVVV Unity3D Ориентирован на Ориентирован на Ориентирован на аудио. видеоэффекты. качественный 3D.
- 7. 5. Возможности и ограничения в простых задачах компьютерного зрения - Принципиальные возможности зрения - Источник проблем - "Проблема границ" - "Проблема текстур" - Cегментация - Оптический поток - Применения оптического потока - Методы вычисления оптического потока - Проблемы оптического потока
- 8. Принципиальные возможности зрения В принципе, с помощью компьютерного зрения можно измерить любые параметры физических процессов, если они выражаются в механическом движении, изменении формы или цвета. http://people.rit.edu/andpph/photofile-misc/strobe-motion-ta-08.jpg
- 9. Источник проблем Основной источник проблем алгоритмического анализа изображений заключается в том, что нет простой связи Значения пикселей Объекты в сцене Для простых случаев, когда такая связь есть - алгоритмы компьютерного зрения работают очень хорошо :) http://zone.ni.com/cms/images/devzone/epd/GeometricMatchingScreenshot.JPG
- 10. "Проблема границ" Близость цветов пикселов не значит, что они принадлежат одному объекту. Аналогично, сильное различие цветов соседних пикселов не значит, что пикселы принадлежат разным объектам.
- 11. "Проблема границ" Как отделить тень от дерева? http://fineartamerica.com/images-medium/shadows-in-the-forest-gary-bydlo.jpg
- 12. "Проблема границ" Для преодоления этой проблемы требуется строить алгоритмы, которые получают и используют контекстную информацию о расположении объектов в сцене.
- 13. "Проблема границ" Как найти рыбу? http://flogiston.ru/img/invisible_flounder_fish.jpg
- 14. "Проблема текстур" На объектах бывают такие текстуры, которые не позволяют считать объекты одноцветными, но которые сложно смоделировать и описать.
- 15. "Проблема текстур" Как выделить одну зебру? http://dangerouswildlife.com/images/zebra-herd.jpg
- 16. "Проблема границ" и "проблема текстур" наиболее ярко проявляются при решении задачи сегментации.
- 17. Сегментация Сегментация - разбиение изображения на "однородные" в некотором смысле области. Цель сегментации - построить "простое" описание исходного изображения, которое можно было бы применить для последующего анализа объектов на изображении.
- 18. Сегментация Существует множество методов сегментации, которые используют самые различные идеи: - "выращивание областей" по яркостному признаку, - "метод змейки" - итерационное движение кривых, - построение границ (например, методом "водораздела"), - поиск разбиения на области, минимизирующий "энтропию", - использование априорной информации о форме области, - использование нескольких масштабов для уточнения границ.
- 19. Сегментация Один из лучших алгоритмов - метод GrabCut. (Пока работает достаточно медленно.) Метод основан на приближенном построении минимального разреза специального графа, который строится по пикселам изображения.
- 20. Сегментация Идея: строим взвешенный граф G = { V, E }. пикселы изображения соответствуют вершинам V, а геометрическая, яркостная и текстурная близость между двумя пикселами i, j соответствует весу ребра S_i,j ("S" от "similarity" - близость пикселов) http://www.cis.upenn.edu/~jshi/GraphTutorial/
- 21. Сегментация Тогда задачу сегментации на две области можно сформулировать как задачу разбиения множества вершин графа на две части. Такое разбиение называется разрезом. - величина разреза. Минимальный разрез (т.е. разрез с минимальной величиной) - объявим решением задачи сегментации.
- 22. Сегментация Дополнив метод минимального разреза ручной первоначальной разметкой областей, можно получить весьма хорошие результаты (правда, уже не полностью автоматические): James Malcolm, Yogesh Rathi, Allen Tannenbaum A Graph Cut Approach to Image Segmentation in Tensor Space http://jgmalcolm.com/pubs/malcolm_tc.pdf
- 23. Сегментация Добавив идею многомасштабного анализа (полностью автоматический результат): Eitan Sharon, Segmentation by Weighted Aggregation, CVPR’04 http://www.cis.upenn.edu/~jshi/GraphTutorial/ Tutorial-ImageSegmentationGraph-cut4-Sharon.pdf
- 24. Сегментация Eitan Sharon, Segmentation by Weighted Aggregation, CVPR’04 http://www.cis.upenn.edu/~jshi/GraphTutorial/ Tutorial-ImageSegmentationGraph-cut4-Sharon.pdf
- 25. Сегментация Eitan Sharon, Segmentation by Weighted Aggregation, CVPR’04 http://www.cis.upenn.edu/~jshi/GraphTutorial/ Tutorial-ImageSegmentationGraph-cut4-Sharon.pdf
- 26. Оптический поток Оптический поток (optical flow) - это векторное поле видимого движения объектов, поверхностей и ребер в визуальной сцене, вызванное относительным движением между наблюдателем и сценой.
- 27. Оптический поток Обычно рассматривается оптический поток, возникающий при рассмотрении двух кадров видео. Для каждого пиксела ( x, y ) оптический поток представляет собой вектор ( f(x, y), g(x, y) ), характеризующий сдвиг:
- 29. Применения оптического потока 1. Для определения направления, в котором движутся объекты в кадре. ВИДЕО 2. Для сегментации движущихся областей в кадре для последующего анализа. 3. Для восстановления формы трехмерного объекта, возле которого движется камера. 4. Как вспомогательный способ повышения устойчивости алгоритмов обнаружения объектов, если они находятся не в каждом кадре. Например, для задач поиска лиц, маркеров и т.п.
- 30. Применения оптического потока Повышение устойчивости распознавания лиц. ВИДЕО
- 31. Методы вычисления оптического потока (I) Блочные ("наивные" методы) Для каждой точки ищется сдвиг, минимизирующий разность в локальном окне. (II) Дифференциальные (наиболее используемые) Оценка производных по x, y, t. 1. Lucas-Kanade - очень быстрый. 2. Farneback - достаточно качественный, но работает медленней 3. CLG - качественный, но пока не реализован в OpenCV 4. Пирамидальный Lucas-Kanade, вычисляющийся только на "точках интереса" 5. Horn-Schunk - не очень устойчивый к шумам (III) На основе дискретной оптимизации (ресурсоемкие) Решение строится с помощью методов min-cut, max-flow, линейного программирования или belief propagation.
- 32. Методы вычисления оптического потока Сегодня в OpenCV реализовано несколько алгоритмов, лучший из них - Farneback. (Gunnar Farneback "Two-Frame Motion Estimation Based on Polynomial Expansion", Proceedings of the 13th Scandinavian Conference on Image Analysis Pages 363-370 June-July, 2003 )
- 33. Методы вычисления оптического потока Идея заключается в аппроксимации квадратичной функцией яркостей пикселов в окрестности некоторого пиксела на обоих кадрах. Используя коэффициенты полиномов, можно вычислить сдвиг - который объявляется значением оптического потока в данном пикселе.
- 34. Проблемы оптического потока Оптический поток и фактическое поле движения могут не совпадать, и даже быть перпендикулярными:
- 35. Проблемы оптического потока Проблема апертуры - неоднозначность определения движения, вызванная рассмотрением движения лишь локально (не анализируя края объекта). Проявляется особенно сильно - в малотекстурированных сценах - в комбинаторных сценах типа полосок и шахматных досок http://pages.slc.edu/~ebj/sight_mind/motion/Nakayama/aperture_problem.GIF
- 36. Домашнее задание 1 из 2 Для получения зачета по этим лекциям "автоматом" Построить картинку с объектами, состоящими из черных полос и клеток на белом фоне, затем вторую картинку, где эти объекты сдвинуты на расстояние, превышающее ширину полос. Затем рассчитать и вывести на экран получившийся оптический поток. Результаты присылайте на perevalovds@gmail.com
- 37. 6. Возможности и ограничения в сложных задачах компьютерного зрения - Поиск лиц - алгоритм Виолы-Джонса - Поиск пешеходов - алгоритм HOG
- 38. Поиск лиц - алгоритм Виолы-Джонса Алгоритм Виолы-Джонса является сегодня базовым для поиска фронтальных лиц в кадре.
- 39. Поиск лиц - алгоритм Виолы-Джонса Для работы используется набор "признаков типа Хаара", http://www710.univ-lyon1.fr/~bouakaz/OpenCV-0.9.5/docs/ref/pics/haarfeatures.png http://alliance.seas.upenn.edu/~cis520/wiki/uploads/Lectures/viola_jones_first2_small.png
- 40. Поиск лиц - алгоритм Виолы-Джонса На стадии обучения из избыточного набора признаков методом бустинга строится набор классификаторов.
- 41. Поиск лиц - алгоритм Виолы-Джонса - работает хорошо на фронтальных лицах. Проблемы - для лиц в профиль не работает из-за причесок. - для всего человека или верхней части - мне не удалось добиться распознавания. Это связано, по-видимому, с тем, что алгоритм способен хорошо обучиться распознаванию внутренних контуров практически неизменного объекта. А с внешними изменяющимися контурами он работает не очень хорошо.
- 42. Поиск лиц - алгоритм Виолы-Джонса Применение для поиска загороженных объектов в траве.
- 43. Поиск лиц - алгоритм Виолы-Джонса Применение для поиска загороженных объектов в траве. •частота пропуска: 0.158 (158 среди 1000 положительных примеров) ; • частота ложной тревоги: 0.049 (40 среди 1000 положительных примеров, 58 среди 1000 отрицательных примеров); • таким образом, частота правильного обнаружения составила 84.2%, частота ложной тревоги 4.9%.
- 44. Поиск пешеходов - алгоритм HOG HOG = Histogram Of Gradients, гистограмма градиентов.
- 45. Поиск пешеходов - алгоритм HOG Принцип работы: изображение разбивается на области, в которых считается направление градиента. Эти направления аккумулируются в гистограммы. Полученный вектор используется для распознавания образов (метод SVM). http://ericbenhaim.free.fr/images/hog_process.png
- 46. Поиск пешеходов - алгоритм HOG Алгоритм достаточно надежно может распознавать автомобили, мотоциклы, велосипеды. Проблемы: ВИДЕО http://www.youtube.com/watch?v=BbL2wWy8KUM Судя по демо-видео, алгоритм не очень хорошо работает с людьми в юбках.
- 47. 7. Новые применения компьютерного зрения - Интерактивные мультимедиа системы - 3D-иллюзия - Мэппинг - Динамический мэппинг
- 48. Интерактивные мультимедиа системы Funky Forest (2007, T.Watson) http://zanyparade.com/v8/projects.php?id=12
- 49. Интерактивные мультимедиа системы Body paint http://www.youtube.com/watch?v=3T5uhe3KU6s ВИДЕО
- 50. Интерактивные мультимедиа системы Проекция на руки зрителей Yoko Ishii and Hiroshi Homura, It’s fire, you can touch it, 2007.
- 51. Интерактивные мультимедиа системы Напольные игры Видео с чемпионата по напольному пинг-понгу, база отдыха Хрустальная-2011 Чемпионат проводился в рамках конференции "Современные проблемы математики" - 42-я Всероссийская молодежная школа-конференция, база отдыха Хрустальная, 2 февраля 2011 г. www.playbat.net ВИДЕО
- 52. 3д-иллюзия Это иллюзия восприятия объемного тела на (плоской) поверхности, которая достигается путем точной имитации геометрии и светотени для данного тела из той точки, где стоит зритель. http://justinmaier.com/wp-content/uploads/2006/05/ATT5082002.jpg
- 53. 3д-иллюзия Создание иллюзии 3д с помощью трекинга головы и глаз. Сейчас встраивается в портативные игровые приставки, имеющие камеры. http://www.youtube.com/watch?v=o5tlIIOXMs4 ВИДЕО
- 54. Мэппинг Мэппинг (projection mapping) – осуществление проекции видео не на специальные экраны, а на другие объекты для их “оживления”. http://www.youtube.com/watch?v=BLNqZ1Nbo7Q ВИДЕО
- 55. Мэппинг Сегодня популярен мэппинг на здания (Architectural Projection Mapping). http://www.youtube.com/watch?v=BGXcfvWhdDQ http://www.youtube.com/watch?v=GNHaW0Cw6aI&NR=1 ВИДЕО
- 56. Динамический мэппинг Идея: использовать методы трекинга и методы Markerless AR для синхронизации движущегося объекта и изображения с проектора.
- 57. Динамический мэппинг Более радикально: отслеживать движение нескольких объектов (скачущие шары, падающие листы бумаги), и осуществлять проекцию на них.
- 58. Домашнее задание 2 из 2 Для получения зачета по этим лекциям "автоматом" Сделать трекинг (обнаружение положения) падающего мячика, который затем отскакивает и скачет. Заснять видео, на котором виден мяч и поверх показано положение мяча, найденного компьютером. Видео выложить на youtube, ссылку выслать на perevalovds@gmail.com.
- 59. За пределами зрения и графики: Физические вычисления Водный музыкальный инструмент, звук запускается волнами Aleatoric water musical instrument http://www.youtube.com/watch?v=CZ_KijiwQHE ВИДЕО
- 60. Заключение - Литература - Дружественные лекции и семинары - Партнеры - Контакты
- 61. Литература Компьютерное зрение 1. Гонсалес Р., Вудс Р. Цифровая Обработка Изображений. 2. Л. Шапиро, Дж. Стокман Компьютерное зрение. OpenCV 1. Документация OpenCV C++: http://opencv.willowgarage.com/documentation/cpp/index. html 2. G. Bradski, A. Kaehler Learning OpenCV: Computer Vision with the OpenCV Library - к сожалению, для версии OpenCV для C, а не C++. 3. Мои лекции по OpenCV для C++ (матмех, осень 2010) http://uralvision.blogspot.com/2010/12/opencv-2010.html
- 62. Дружественные лекции и семинары Спецкурс по openFrameworks с элементами OpenCV, матмех УрГУ, весенний семестр 2011. Программа спецкурса и время занятий будет на сайте www.uralvision.blogspot.com
- 63. Дружественные лекции и семинары УрГУ - Факультет искусствоведения и культурологи Екатеринбургский ф-л Государственного Центра современного искусства УрО РАН Программа "Искусство, Наука, Технологии" art.usu.ru/index.php/confer/229 www.art.usu.ru, www.ncca.ru
- 64. Дружественные лекции и семинары Программа "Искусство, Наука, Технологии" 2-го марта, 18:30 Тело как интерфейс: Wearable Computing ПРИГЛАШЕНИЕ К УЧАСТИЮ с 10-15 минутным сообщением и без него. Просьба сообщить о желании и теме выступлений Ксении Федоровой, ksenfedorova@gmail.com Семинар будет проходить в медиатеке УрГУ (Ленина 51, 4 этаж, 413а) Подробная информация - http://www.scribd.com/doc/49078187/Body-As-Interface
- 65. Дружественные лекции и семинары Программа "Искусство, Наука, Технологии" 21-22 апреля 2-й Международный семинар "Теории и практики медиаискусства" Председатель орг.комитета Ксения Федорова, куратор ЕФ ГЦСИ, ksenfedorova@gmail.com Информация о семинаре будет опубликована на ncca.ru, art.usu.ru, usu.ru и www. uralvision.blogspot.com http://www.ago.net/assets/images/assets/past_exhibitions/2007/steinkamp.jpg
- 66. Партнеры www.playbat.net (интерактивные системы) ООО Бизнес-Фрейм (консалтинг комп. зр.) www.bframe.ru ООО 5-е измерение (интерактивные системы) gorodaonline.com (сеть информационно-деловых порталов) Анимационная студия "Муль-ОН" www.mult-on.ru Анимационная студия "Аниматех" www.anima-tech.ru
- 67. Контакты Перевалов Денис Сергеевич perevalovds@gmail.com Эта лекция опубликована на www.uralvision.blogspot.com