CV2011 Lecture 1. Part 1. Introduction to computer vision
Download as PPTX, PDF2 likes2,883 views
Документ описывает курс по компьютерному зрению, включающий темы теории, современных достижений и практических приложений в данной области. Лектором курса является Антон Конушин, а также представлен ассистент Александр Чигорин, их контактные данные и учебные материалы. Курс охватывает как низкоуровневую, так и высокоуровневую визуализацию, а также задачи, такие как распознавание объектов и анализ видео.
CV2011 Lecture 1. Part 1. Introduction to computer vision
- 2. Общая информацияЭтот курс подготовлени читается при поддержке Microsoft ResearchСтраница курса http://courses.graphicon.ru/main/visionО лектореЛаб. компьютерной графики и мультимедиаНаучный сотрудник, к.ф-м.н., руководитель группы компьютерного зренияАнтон Конушин Курсы:
- 3. С/к «Введение в компьютерное зрение» (весна)
- 4. С/к «Доп. главы компьютерного зрения» (осень)
- 6. С/к «Анализ изображений и видео» (год), ШАД Яндекс
- 7. E-mail: ktosh@graphics.cs.msu.ruОб ассистентеАспирант 1-го года ВМК МГУЛаб. комп. графики и мультимедиаГруппа компьютерного зренияaachigorin@gmail.comАлександр Чигорин
- 8. УчебникиФорсайт, Понс «Компьютерное зрение: современный подход»
- 9. R.Szeliski«Computer vision: Algorithm and applications»
- 10. http://research.microsoft.com/en-us/um/people/szeliski/Book/План лекцииВведение в компьютерное зрениеЧто это такоеПочему это сложноИстория компьютерного зренияСовременные достиженияЗадачи, решаемые в лабораторииОбзор программы курсаКомпьютерное зрение и зрение человекаИзображениеКамера и глазЦвети баланс белого
- 11. Задача компьютерного зренияПонять, что запечатлено на изображенииМы видимКомпьютер видитSource: S. Narasimhan
- 12. Задача компьютерного зрения«To see means to know what is where by looking»David Marr, Vision, 1982Понять, что запечатлено на изображенииЧто это в действительности обозначает?Зрение - источник семантической информации о миреЗрение - источник метрической информации о трехмерном мире
- 13. Семантическая информацияSlide credit: Fei-Fei, Fergus & Torralba
- 15. город
- 16. уличное движение
- 17. Пекин, Китай
- 18. Пл. ТяньаньмэньSlide 10slide credit: Fei-Fei, Fergus & Torralba
- 19. Поиск и локализация объектовЗданиеФлагЛицоТекстАвтобусАвтобусSlide 11Slide credit: Fei-Fei, Fergus & Torralba
- 21. Качественная информацияГолубоенаклоннаяВетер справа налевоНежесткий, движетсяМаоЖесткий, движетсяЖесткий, движетсягоризонтальныйSlide 13slide credit: Fei-Fei, Fergus & Torralba
- 22. Метрическая информацияМоделирование по пользовательским снимкамСтерео реконструкцияСтруктура из движенияNASA Mars RoverGoesele et al.Pollefeys et al.Slide: Svetlana Lazebnik
- 24. Зрение… принятые названияОбработка изображений (Image processing)На входе и выходе изображениеАнализ изображений (Image analysis)Фокусируется на работе с 2D изображениямиРаспознавание образов (Pattern recognition)Распознавание, обучение на абстрактных числовых величинах, полученных в том числе и из изображенийКомпьютерное зрение (Сomputer vision)Изначально воостановление 3д структуры по 2д изображениям, сейчас шире, как принятие решений о физических объектах, основываясь на их изображенияхФотограмметрия (Photogrammetry) Исторически измерение расстояний между объектами по 2D изображениямМашинное зрение (Мachine vision)Обычно понимается как решение промышленных, производственных задач (сложилось исторически)
- 25. Зачем?Полезно – много практических примененийИнтересно – наглядное применение массы математических методовСложно25+% мозга человека отвечает за зрение«ИИ-полная» задача – решение задачи зрения на уровне человека равносильно решению задачи искусственного интеллекта
- 26. Почему зрение – это сложно?
- 27. Точка наблюденияMichelangelo 1475-1564slide credit: Fei-Fei, Fergus & Torralba
- 28. Освещениеimage credit: J. Koenderink
- 29. МасштабSlide credit: Fei-Fei, Fergus & Torralba
- 30. ДеформацияXu, Beihong 1943Slide credit: Fei-Fei, Fergus & Torralba
- 31. ПерекрытиеMagritte, 1957 slide credit: Fei-Fei, Fergus & Torralba
- 32. Маскировка
- 33. Движение
- 34. Внутриклассовая изменчивостьSlide credit: Fei-Fei, Fergus & Torralba
- 37. Сложности или возможности?Изображение запутывает, но дает много подсказок Наша задача – интерпретировать подсказкиImage source: J. Koenderink
- 38. Цвет
- 39. Тени и освещениеSource: J. Koenderink
- 40. Отбрасываемые тениSource: J. Koenderink
- 41. ГруппировкаImage credit: Arthus-Bertrand (via F. Durand)
- 43. Текстура
- 44. Упорядочивание по глубинеSource: J. Koenderink
- 46. РезюмеЗрение изначально нечеткая задачаРазные 3D сцены дают одно и то же 2D изображениеНеобходимы априорные знания о структуре и свойствах мираImage source: F. Durand
- 47. История: Камера-обскураПринцип был известен еще Аристотелю (384-322 до Н.Э.)“Magic Lantern”, 1492
- 48. 1525
- 49. Первая фотографияСамая первая фотография1825 годТребовала 8 часов проявки
- 50. Фотограмметрия1837 – первые практически применимые фотографии1840 – «Фотограмметрия – будущее геодезии»
- 51. Видео1888 – первое кино на плёнке, Louis Le Prince1878 – первая скоростная съемка, Eadweard Muybridge
- 52. Электронно-лучевая трубка(CRT)1885 – изобретение СRT1897 –СRT c флуоресцентным экраном
- 54. Растровый дисплей – 1927 годPhilo Farnsworth – 60-строчный растровый дисплей
- 55. Whirlwind, MIT, 1951Первый компьютер, отображающий текст и графику в реальном времени на монитореТочками карту, значком самолёт.«Световое перо» для взаимодействия с экраном (запрос информации об объекте)
- 56. 1957 - 1967Аналоговые сопоставители изображений
- 57. “The Boing man”, 1960Первое компьютерное изображение человека
- 58. Зарождение компьютерного зренияL. G. Roberts, Machine Perception of Three Dimensional Solids, Ph.D. thesis, MIT Department of Electrical Engineering, 19601963.
- 59. Spacewar, MIT, 1961Steve Russell, 200 человеко-месяцев
- 60. SketchPad, MIT, 1963Ivan Sutherland демонстрирует интерактивный графический редактор SketchPad
- 61. CAD, IBM + GM, 1964Первая СAD-система, геометрические преобразования (поворот, вращение)
- 62. IBM 2250, AdageПервая отдельная графическая станция, быстрый дисплей (вращение без мерцания)1024x1024 векторный дисплей, стыковался к IBM 360
- 63. Virtual Reality, Harvard, 1968Ivan Sutherland перешел в Гарвард, где разработал первый Head Mounted Display (HMD)Виртуальная комната (wireframe), в которую можно войти
- 64. Utah, 1968 и далееHidden surface (Romney, Warnock, Watkins)scan line coherence (Watkins)Rendering (Crow, Blinn, Newell, Catmull, Clark, etal)z-buffer (Catmull)Patch rendering (Catmull)Texture mapping (Catmull, Blinn, Newell)Shadows (Crow)Antialiasing (Crow)Shading (Phong, Gouraud)Lighting (Phong, Blinn)Atmospheric effects (Blinn)Environment mapping (Blinn, Newell)Blobby surfaces (Blinn)Facial animation (Parke)Procedural modeling (Newell)Splines (Riesenfeld, Lyche, Cohen)Beta-splines (Barsky)
- 65. Freddy II, 1973Университет ЭдинбургаОдин из первых роботов с системой машинного зрения5 степеней свободыУмеет собирать машинки из кубиков, разбросанных по столу384Кб RAM в управляющем компьютере
- 66. Давид Марр (1970е)«Primal sketch»Низкоуровневые («low-level») свойства изображения: направленные края, отрезки и т.д.«2.5D sketch»Упорядочивание по глубине (бинокулярное стерое), учёт текстуры и т.д.«3D model»Распознавание объектов и представление о 3х мерном мире
- 67. Решаемые задачиИзображения и видео повсюдуБурно растущая областьОбработка – улучшение качества, ретушь, изменение размера и формы, композицияИнтернет – поиск, аннотация, поиск дубликатов, распознавание объектовВидеонаблюдение – отслеживание, распознавание объектов, распознавание жестов и событийПромышленные системы – диагностика, контроль качестваСпецэффекты в кино – композиция, монтаж фонов, захват движения
- 68. Personal photo albumsMovies, news, sportsMedical and scientific imagesSurveillance and securityРаспространение изображений
- 69. Распознавание текстаDigit recognition, AT&T labshttp://www.research.att.com/~yann/License plate readershttp://en.wikipedia.org/wiki/Automatic_number_plate_recognitionSource: S. Seitz
- 70. Детектор лиц (2001)Алгоритм Viola-Jones – первый быстрый и надежный алгоритм поиска лиц. Демонстрация силы машинного обучения.Source: S. Seitz
- 71. Поиск улыбкиSony Cyber-shot® T70 Digital Still Camera Source: S. Seitz
- 72. Распознавание лицКто она?Source: S. Seitz
- 73. Биометрия“How the Afghan Girl was Identified by Her Iris Patterns” Read the story Source: S. Seitz
- 74. БиометрияFace recognition systems now beginning to appear more widelyhttp://www.sensiblevision.com/Fingerprint scanners on many new laptops, other devicesSource: S. Seitz
- 76. Распознавание объектовMicrosoft ResearchSource: S. Seitz
- 77. Умные машиныMobileyeТоп-модели от BMW, GM, VolvoК 2010: 70% производителей машинSource: S. Seitz
- 78. Умные машины
- 79. 3D модели для киноThe Matrix movies, ESC Entertainment, XYZRGB, NRCSource: S. Seitz
- 80. Захват движенияPirates of the Carribean, Industrial Light and MagicSource: S. Seitz
- 81. Спортивные соревнованияSportvision first down lineNice explanation on www.howstuffworks.comSource: S. Seitz
- 82. Зрение в космосеNASA'S Mars Exploration Rover Spirit. Системы зрения использовались для:Склейка панорам
- 84. Поиск препятствий, определение местоположения
- 85. Подробнее см. “Computer Vision on Mars” by Matthies et al.Source: S. Seitz
- 87. Зрение роботовNASA’s Mars Spirit Roverhttp://en.wikipedia.org/wiki/Spirit_roverhttp://www.robocup.org/Source: S. Seitz
- 88. Трехмерные картыImage from Microsoft’s Virtual Earth(see also: Google Earth)Source: S. Seitz
- 89. PhotoSynth
- 90. PhotoSynth
- 91. Примеры наших задач3D реконструкция зданийДорожные лабораторииВидеонаблюдениеРазные задачи
- 94. Видеонаблюдение
- 95. Разное (MSR)Поиск текста в изображенияхМягкая сегментация видео
- 96. Структура курса13 лекций4 домашних заданияОценки за задания (2...5)Оценка за курс по заданиямМ.б. письменные упражненияЗадания на МатлабУдобнее и проще, чем на С++/С#Будет занятие по Матлабу!Вопросы:В форум – http://forum.graphicon.ru
- 97. Домашние заданияСистема распознавания автомобильных номеров в 3х частях
- 99. Поиск номеров в изображении
- 101. Данные предоставлены компанией ISS: www.iss.ruПрограмма курсаВведение в компьютерное зрение (весна)Low-level visionОбработка изображений и локальные особенностиMid-level visionСопоставление изображений и методы группировки, сегментацияHigh-level visionРаспознавание изображений, поиск изображенийРазные задачиДоп. Главы компьютерного зрения (осень)Анализ видео и видеонаблюдениеАнализ изображений человека (лицо, поза)Трёхмерная реконструкция по изображениям
- 102. =*Linear filteringEdge detectionОбработка изображений
- 103. Представление изображенийЧастотная фильтрация изображения, JPEGПирамиды изображенийСловари, разреженное представление
- 104. (x,y)r(x0,y0)sЛокальные особенностиИзвлечение, описание, сопоставление
- 105. AlignmentFitting: Least squaresHough transformRANSACСопоставление изображений
- 106. Категоризация изображений+ Методы классификации и машинного обучения
- 107. Машинное обучениеМетод опорных векторовБустингОценка классификаторов
- 108. Поиск и локализация объектов
- 109. Методы на коллекциях картинок
- 113. Цифровой фотомонтаж
- 114. Часть 2: Анализ видео
- 115. Часть 2: Изображения человекаMotion and trackingArticulated models
- 116. Часть 2: Трехмерная реконструкция
Editor's Notes
- #44: Выступая перед французской академией наук
- #45: Автор таинственно пропал с поезда. Брата застрелили после патентного суда с Эдиссоном
- #47: 1909 - аэрофотосъемка
- #60: Low-level image processing algorithms are applied to 2D images to obtain the ``primal sketch”(directed edge segments, etc.), from which a 2.5 D sketch of the scene is obtained using binocularstereo. Finally, high-level (structural analysis, a priori knowledge) techniques are used to get 3Dmodel representations of the objects in the scene. This is probably the single most influential workin computer vision ever. Many researchers cried: ``From the paradigm created for us by Marr, noone can drive us out.”
- #80: Сюда можно вставить видео