SlideShare a Scribd company logo
Оптимизация энергии в задачах компьютерного зрения и алгоритмы на графахМини-курс, Computer Science Club, Санкт-Петербург, 2010Виктор Лемпицкий
Что такое компьютерное зрение?2Компьютерная графикаИзображение сценыОписание сценыКомпьютерное зрение
Из истории вопроса...План на август:Сегментация на объекты Распознавание отдельных объектов
СегментацияПример из Berkeley Segmentation Dataset:Оба ответа верные! Задача плохо определена...
Бинарная сегментация...или разбиение на фон/объект
“Умные ножницы”[Mortensen & Barett, 1995]aka “magnetic lasso” (Photoshop), “livewire”
От картинки к графу[Mortensen & Barett, 1995]
Выбор весов для графа[Mortensen & Barett, 1995]
Выбор весов для графа [Mortensen & Barett, 1995]
Сегментация кратчайшими путями[Mortensen & Barett, 1995]Граница = цепь кратчайших путей
“Умные ножницы”[Mortensen & Barett, 1995]images from[Mortensen&Barett,1999]
Seam Carving: изменение размера[Avidan & Shamir, 2007]
Seam Carving[Avidan & Shamir, 2007]
Стереопарыfrom Agnes Svoboda Morris collection
СтереосопоставлениеТестовая стереопара(University of Tsukuba)Карта смещений
Немного геометрииbhdГлубина     1/Смещениеfb
Стерео: локальный подход
Стерео: локальный подходРезультаты
СканлайнStereopair from Middlebury stereo webpage
От стерео к кратчайшим путямλсмещениеλ+∞λλλпиксель
Стерео и энергииПостроили алгоритм для:Хотим:
Новая конструкция графа+λсмещение+0+λ+λ+λ+λпиксель
РезультатыGround truth:Оптимизация вдоль сканлайна
Динамическое программирование
Динамическое программирование
Передача сообщений
Передача сообщений
Передача сообщенийДок-во: индукция
Передача сообщений
Распространение сообщенийВывод: распространение сообщений находит минимум энергии – в отсутствии «ничьих» просто берем оптимальное dt в каждой вершине.
Стоимость передачи сообщенияЗадача: сколько операций надо для подсчета сообщения в нашем случаеОтвет: O(D). Вся оптимизация требует O(WD) – быстрее, чем «наивный» кратчайший путьА в этих случаях?:
Что получилосьGround truth:Оптимизация вдоль сканлайнаПроблема: сканлайны друг с другом не связаны
От строк к дереву[Veksler, 2005]
Выбор дереваПерепады цвета коррелируют с перепадами глубины Минимальное остовное дерево!
От строк к дереву[Veksler, 2005]
От строк к дереву
Динамическое программированиеtt
Передача сообщенийtii
Передача сообщенийtДоказательство: Назначить  t  корнемПровести индукцию от листьев
Пересылка сообщений: расписаниеСложность: всего O(ED) !
Pictorial structures[FelzenszwalbHuttenlocker 05]Image from BioID/FGNet datasetОбучается на тренировочных данных2
Pictorial structures2Угол правой бровиЛевая ноздря
Pictorial structuresНезависимый поиск точекPictorial structure resultКвадратичная функцияИдея [Felzenszwalb&Huttenlocher 05]: как быстро передать сообщение
Обобщаем дальше?Хотим:
Динамическое программирование?t
Пересылка сообщений[Pearl 1988]: “Loopy Belief Propagation”Сообщения передаются много раундов
Эвристика: нет гарантий на сходимость/близость к минимуму
Результат зависит от расписания/инициализации
 Эмпирически, часто дает очень хороший результатПолная модель: результат
Увеличение разрешения[Freeman,Paztor,Carmichael,Jones 2000]Средние частотыВысокие частоты = ?
Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]
Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]
Увеличение разрешения [Freeman,Paztor,Carmichael 2000]
Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]
Минимальный st-разрез на графе[Ford and Fulkerson 60]SНа входе: ориентированный граф с выделенными истокоми стоком(сеть) + веса дуг ≥ 0.125На выходе: ST-разрез на графе с минимальным весом.Экспоненциальное количество разрезов.
Полиномиальное время поиска.T
Сканлайн: напоминаниеλсмещениеλ+∞λλλпиксель
Двойственный графsλUt(dt)λ+∞t
Оптимизация с помощью разрезаsсмещениепиксельt
Оптимизация с помощью разрезаsstt
Стерео с помощью разреза[Roy&Cox 1998, Ishikawa&Geiger 1998]
Стерео с помощью разреза[Roy&Cox 1998]
Стерео с помощью разреза[Roy&Cox 1998]Image from[Roy, 2002] Обобщение на несколько изображений
 ... но снятых с «одной и той же стороны»«Всесторонняя» реконструкцияТрехмерные данные (напр. лазерные сканы)Наборы фотографийПредполагается наличие регистрации и ограничивающего объема?
Энергетический подход к геометрической реконструкцииКонструируется пространство «всех» поверхностей
Вводится функционал-энергия на пространстве поверхностей
 Энергия = соответствие данным + регуляризация
Результат реконструкции – минимум функционала?
ФотосостоятельностьXФотосостоятельность: Точка, лежащая на поверхности, имеет схожие цвета проекции
 Закрытия: невидимые точки не подчиняются фотосостоятельностизакрытиеТочная видимость неизвестна => нужны приближенные оценки
Ориентированная фотосостоятельность[Lempitsky, Boykov, Ivanov 2006]0.30.60dS(X, n)0.1000
Энергияобщая фотосостоятельностьU(X) может быть:равномерным
 учитывающим силуэты
учитывающим жесткие условия:U(X)=+∞?U(X)=-∞«объект на плоскости»
Дискретная глобальная оптимизацияПространство «всех» поверхностейКонечное подмножество
Выбор дискретного множестваПлохая аппроксимация          !Цель: выбрать достаточно плотное множествоОчевидный выбор: воксельный подход.УвеличениеБлижайшая поверхностьИстинный глобальный минимумВывод: недостаточно плотный набор ориентаций
Дискретизация функционалаЛучшая дискретизация в2D случае:Аналогичная дискретизация в 3D случае:Разбиение вокселя Каждый воксель разбивается на 24 тетраэдра
 Дискретное множество = поверхности из тетраэдров
18 ориентацийповерхности (вместо 6)Функционал на дискретном множествеФункционал находится как сумма весов граней и весов клеток
Сведение к разрезу на графеT“Внутри”“Снаружи”SВес клеткиВес клеткиВес граниВес грани00Вес разреза = значение энергииМинимальный разрез Глобальный минимум энергии
Реконструкция: пример[Lempitsky,Boykov,Ivanov 2006]3 из16 изображенийРезультат реконструкции (U(x)использует жесткие условия):
Улучшенный U(x)[Boykov,Lempitsky 2006]
Множество прямых,пересекающихCПространство прямыхЕвклидова длина C : количество пересеченийФормула Коши-Крофтона(slide from Yuri Boykov)C
CЕвклидова длинаВес ребра в графе:Количество пересеченных граней CСтоимость разреза аппроксимирует длину (slide from Yuri Boykov)
«Гео-разрез»[Boykov&Kolmogorov 2003]SМожно заменить на риманову метрикуBT
Реконструкция по 3Д сканамСкан1Скан2На входе: точки поверхности с грубыми оценками нормалейНа выходе:поверхность (треугольная сетка)Сложности: шумы, выбросы, пропуски, ошибки регистрации
От точек к функционалу[Lempitsky,Boykov 2007]nAAФ Неопределенность моделируется векторным полем
 Минимизация потока «притягивает» поверхность к точке:Формулировка энергии[Lempitsky,Boykov 2007]ФФФФФЭнергия = сумма потоков векторных полей + регуляризацияили
Энергия (пример)Срез ограничивающего объема, цвет соответствует дивергенции
                 Поверхность георазрезаРазмер сетки: 551x544x428[Lempitsky, Boykov 07]:Как использовать особенности графа, чтобы посчитать поток
Пример 2
Реализация энергии на графе≥ 0≥ 0≥ 0s (1) t (0)
Сегментация с помощью разреза[Boykov & Jolly ‘01]
«Кистевой» интерфейс[Boykov & Jolly ‘01]фонобъект
Сегментация с помощью разреза [Boykov & Jolly ‘01]фонxp=0Sобъектxp=1Парные члены:Перепады цветаУнарные члены:Кисти
Вероятностная модельT
Пример сегментацииВидео из [Boykov, Kolmogorov, 2003]http://www.csd.uwo.ca/~yuri/Images/Segm/bone.avi

More Related Content

PDF
CV2015. Лекция 2. Основы обработки изображений.
PDF
Лекция №12 "Ограниченная машина Больцмана"
PPTX
What would I do as a lawyer if I designed a computer game?
PPTX
Manifesto of computer game writers
PDF
20110925 circuit complexity_seminar_lecture01_kulikov
ODP
Plug computer -- freedombox
PDF
Lecture 1. Introduction to Computer Vision
PDF
Анализ изображений и видео. Построение признаков и сравнение изображений: ло...
CV2015. Лекция 2. Основы обработки изображений.
Лекция №12 "Ограниченная машина Больцмана"
What would I do as a lawyer if I designed a computer game?
Manifesto of computer game writers
20110925 circuit complexity_seminar_lecture01_kulikov
Plug computer -- freedombox
Lecture 1. Introduction to Computer Vision
Анализ изображений и видео. Построение признаков и сравнение изображений: ло...

Viewers also liked (14)

PPTX
МАШИННОЕ ЗРЕНИЕ С ИСПОЛЬЗОВАНИЕ OPENCV
PDF
Magnetic Resonance Imaging
PDF
Cardiac MRI in hypertrophic cardiomyopathy
PPT
Magnetic Resonance Imaging and Its Benefits
PPTX
PPTX
MAGNETIC RESONANCE IMAGING; physics
PPT
PPTX
Mri physics
PPTX
Computer ethics and system security
PPTX
MRI - magnetic Imaging resonance
PDF
Multidevice Mambo
PPTX
Computer virus (Microsoft Powerpoint)
PPTX
Computer Virus powerpoint presentation
PPT
Magnetic Resonance Imaging
МАШИННОЕ ЗРЕНИЕ С ИСПОЛЬЗОВАНИЕ OPENCV
Magnetic Resonance Imaging
Cardiac MRI in hypertrophic cardiomyopathy
Magnetic Resonance Imaging and Its Benefits
MAGNETIC RESONANCE IMAGING; physics
Mri physics
Computer ethics and system security
MRI - magnetic Imaging resonance
Multidevice Mambo
Computer virus (Microsoft Powerpoint)
Computer Virus powerpoint presentation
Magnetic Resonance Imaging
Ad

Similar to 20100502 computer vision_lempitsky_lectures01-02 (20)

PPTX
Лекция 4 Обработка бинарных изображений
PPT
DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перев...
PPTX
CV2011 Lecture 3. Basic image analysis
PDF
Denis Perevalov -- Computer Vision with OpenCV 2
PPTX
Лекция 3 Сегментация
PPT
Классификация изображений
PPT
Классификация изображений
PDF
20100919 computer vision_konushin_lecture02
PDF
2016-12-03 01 Вадим Литвинов. От 2D к 3D обзор методов реконструкции поверхно...
PDF
CV2015. Лекция 2. Простые методы распознавания изображений.
PDF
CV2011-2. Lecture 12. Face models.
PPT
распознавание автомобильного номера в условиях зашумлённости»
PDF
CV2011-2. Lecture 07. Binocular stereo.
PPT
Сегментация изображений в компьютерной графике.ppt
PPTX
L05 features
PDF
CV2015. Лекция 7. Поиск изображений по содержанию.
PDF
20120414 videorecognition konushin_lecture04
PDF
CV2011 Lecture 13. Real-time vision
PPT
Лекция 1
PDF
CV2011 Lecture 8. Detection
Лекция 4 Обработка бинарных изображений
DUMP-2013 Наука и жизнь - Современная математика компьютерного зрения - Перев...
CV2011 Lecture 3. Basic image analysis
Denis Perevalov -- Computer Vision with OpenCV 2
Лекция 3 Сегментация
Классификация изображений
Классификация изображений
20100919 computer vision_konushin_lecture02
2016-12-03 01 Вадим Литвинов. От 2D к 3D обзор методов реконструкции поверхно...
CV2015. Лекция 2. Простые методы распознавания изображений.
CV2011-2. Lecture 12. Face models.
распознавание автомобильного номера в условиях зашумлённости»
CV2011-2. Lecture 07. Binocular stereo.
Сегментация изображений в компьютерной графике.ppt
L05 features
CV2015. Лекция 7. Поиск изображений по содержанию.
20120414 videorecognition konushin_lecture04
CV2011 Lecture 13. Real-time vision
Лекция 1
CV2011 Lecture 8. Detection
Ad

More from Computer Science Club (20)

PDF
20141223 kuznetsov distributed
PDF
Computer Vision
PDF
20140531 serebryany lecture01_fantastic_cpp_bugs
PDF
20140531 serebryany lecture02_find_scary_cpp_bugs
PDF
20140531 serebryany lecture01_fantastic_cpp_bugs
PDF
20140511 parallel programming_kalishenko_lecture12
PDF
20140427 parallel programming_zlobin_lecture11
PDF
20140420 parallel programming_kalishenko_lecture10
PDF
20140413 parallel programming_kalishenko_lecture09
PDF
20140329 graph drawing_dainiak_lecture02
PDF
20140329 graph drawing_dainiak_lecture01
PDF
20140310 parallel programming_kalishenko_lecture03-04
PDF
20140223-SuffixTrees-lecture01-03
PDF
20140216 parallel programming_kalishenko_lecture01
PDF
20131106 h10 lecture6_matiyasevich
PDF
20131027 h10 lecture5_matiyasevich
PDF
20131027 h10 lecture5_matiyasevich
PDF
20131013 h10 lecture4_matiyasevich
PDF
20131006 h10 lecture3_matiyasevich
PDF
20131006 h10 lecture3_matiyasevich
20141223 kuznetsov distributed
Computer Vision
20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture02_find_scary_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs
20140511 parallel programming_kalishenko_lecture12
20140427 parallel programming_zlobin_lecture11
20140420 parallel programming_kalishenko_lecture10
20140413 parallel programming_kalishenko_lecture09
20140329 graph drawing_dainiak_lecture02
20140329 graph drawing_dainiak_lecture01
20140310 parallel programming_kalishenko_lecture03-04
20140223-SuffixTrees-lecture01-03
20140216 parallel programming_kalishenko_lecture01
20131106 h10 lecture6_matiyasevich
20131027 h10 lecture5_matiyasevich
20131027 h10 lecture5_matiyasevich
20131013 h10 lecture4_matiyasevich
20131006 h10 lecture3_matiyasevich
20131006 h10 lecture3_matiyasevich

20100502 computer vision_lempitsky_lectures01-02