Artisto:
стилизация изображений и видео при
помощи нейронных сетей
Андрей Калинин, руководитель проекта Поиск
Artisto
• Первое приложение
стилизации видео.
• Быстро попало в списки
лучших.
• Реализация известных
алгоритмов на нейронных
сетях.
VGG-16
Davi Frossard, VGG in TensorFlow,
http://www.cs.toronto.edu/~frossard/post/vgg16/
Visualizing and Understanding
Convolutional Networks, 2013
Matthew D. Zeiler, Rob Fergus, https://arxiv.org/pdf/1311.2901v3.pdf
Layer 2 Layer 3
Layer 4
Deep Inside Convolutional Networks, 2014
Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, https://arxiv.org/pdf/1312.6034.pdf
A Neural Algorithm of Artistic Style, 2015
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge; http://arxiv.org/pdf/1508.06576v2.pdf
Восстановление контента
Восстановление стиля
A Neural Algorithm of Artistic Style, 2015
Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, Mar 2016,
Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf
Результат
А как сделать красиво?
Настраиваемые параметры:
• Вес контента, вес стиля.
• Количество итераций.
• Регуляризация.
• Уровни для восстановления
контента, с весами.
• Уровни для восстановления
стиля, с весами.
Деградация стилевого изображения
Texture Networks: Feed-forward Synthesis of
Textures and Stylized Images, 2016
Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, 27 Mar 2016,
Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf
Texture Networks: Feed-forward Synthesis of
Textures and Stylized Images, 2016
Texture Networks: Feed-forward Synthesis of Textures and Stylized Images,
Dmitry Ulyanov, Vadim Lebedev, Andrea Vedaldi, Victor Lempitsky, 10 Mar 2016,
http://arxiv.org/pdf/1603.03417v1.pdf
Бэкенд
• NVidia GTX 1080 и TitanX.
• Torch.
• 5-6 миллионов параметров
на модель.
• 25ms на кадр.
• По 3 карты в сервере.
• Готовность расширится за
счёт облачных решений.
Artisto как модель ИИ приложений
• Искусственный интеллект – общедоступен.
Приложения делать просто.
• Программисты должны готовить
инфраструктуру.
• Важен простой и понятный способ настройки.
Андрей Калинин — Mail.Ru Group — ICBDA2016
Спасибо за внимание!
Вопросы?
Андрей Калинин
руководитель проекта Поиск
kalinin@corp.mail.ru

More Related Content

PPTX
Станислав Семенов — Консультант по анализу данных, победитель чемпионата ICBD...
PPTX
Анатолий Левенчук — Техинвест — ICBDA2016
PPTX
Андрей Созыкин — ИММ УрО РАН — ICDBA2016
PDF
Сергей Лоншаков — проект "Дрон сотрудник" — ICBDA2016
PDF
Владислав Лисицкий — Rubbles — ICBDA2016
PPTX
Андрей Калинин, Современное текстовое ранжирование, Optimization 2016
PDF
Максим Кулиш — OWOX-Russia — ICBDA2016
PPT
Иван Красников — K☆50 — ICBDA2016
Станислав Семенов — Консультант по анализу данных, победитель чемпионата ICBD...
Анатолий Левенчук — Техинвест — ICBDA2016
Андрей Созыкин — ИММ УрО РАН — ICDBA2016
Сергей Лоншаков — проект "Дрон сотрудник" — ICBDA2016
Владислав Лисицкий — Rubbles — ICBDA2016
Андрей Калинин, Современное текстовое ранжирование, Optimization 2016
Максим Кулиш — OWOX-Russia — ICBDA2016
Иван Красников — K☆50 — ICBDA2016

Viewers also liked (20)

PDF
Александр Куликов — Segmento — ICBDA2016
PDF
Евгений Быков – Телум – ICBDA2016
PPTX
Наталья Полковникова – Global Innovation Labs – ICBDA2016
PPTX
Александр Яшкин – FANUC Russia – ICBDA2016
PDF
Артем Плешаков — Intency DSP — ICBDA 2015
PDF
Евгений Власов — CallTouch — ICBDA 2015
PDF
Ксения Ачкасова — TNS Россия — ICBDA 2015
PDF
Антон Бут — Auditorius — ICBDA 2015
PPTX
сервисы яндекса1
PPTX
Правильная семантическая разметка для всех
PPT
Поиск@Mail.Ru: Из первых рук
POT
Algorithms overview for content discovery and distribution (on russian)
PPTX
Машинное обучение в ранжировании поиска
PPT
Николай Марин — IBM — ICBDA2016
PPTX
Дмитрий Кирьянов — Полибук Мультимедиа — ICBDA2016
PDF
Александр Белоцерковский — Microsoft — ICBDA2016
PDF
Поиск похожих видео-роликов на основе анализа содержимого видео-файлов — Ан...
PDF
Александр Киров — Acronis — ICBDA 2015
PPTX
Александр Сербул —1С-Битрикс — ICBDA 2015
PDF
Владислав Флакс — OWOX — IСBDA 2015
Александр Куликов — Segmento — ICBDA2016
Евгений Быков – Телум – ICBDA2016
Наталья Полковникова – Global Innovation Labs – ICBDA2016
Александр Яшкин – FANUC Russia – ICBDA2016
Артем Плешаков — Intency DSP — ICBDA 2015
Евгений Власов — CallTouch — ICBDA 2015
Ксения Ачкасова — TNS Россия — ICBDA 2015
Антон Бут — Auditorius — ICBDA 2015
сервисы яндекса1
Правильная семантическая разметка для всех
Поиск@Mail.Ru: Из первых рук
Algorithms overview for content discovery and distribution (on russian)
Машинное обучение в ранжировании поиска
Николай Марин — IBM — ICBDA2016
Дмитрий Кирьянов — Полибук Мультимедиа — ICBDA2016
Александр Белоцерковский — Microsoft — ICBDA2016
Поиск похожих видео-роликов на основе анализа содержимого видео-файлов — Ан...
Александр Киров — Acronis — ICBDA 2015
Александр Сербул —1С-Битрикс — ICBDA 2015
Владислав Флакс — OWOX — IСBDA 2015
Ad

More from rusbase (20)

PDF
Робоэдвайзинг
PPTX
Как чат-боты меняют банковское обслуживание
PDF
Как удаленная идентификация повлияет на бизнес модели в финансовой сфере
PDF
Как социальные сети влияют на скоринг
PDF
Искусственный интеллект в кредитном скоринге
PDF
P2P кредитование и народное поручительство
PPTX
Francis Bakos, Vitality - FinTech Russia
PDF
Руслан Юсуфов, Страхование от кибер-атак - FinTech Russia
PDF
Алексей Краснопольский, Онлайн-кассы - FinTech Russia
PPTX
Иван Беров, Digital Identity - FinTech Russia
PDF
Алексей Катрич, IoT в InsurTech - FinTech Russia
PDF
Алексей Архипов, Мастерчейн - FinTech Russia
PPTX
Максим Григорьев, Удаленная идентификация - FinTech Russia
PDF
Александр Кузьмин, PSD2 - FinTech Russia
PDF
Алексей Благирев, "Открытие" — FinTech Russia 2017
PPTX
Ханнес Чопра (Hannes Chopra) - FinTech Russia 2017
PDF
Антон Бут и Екатерина Огнева – Билайн – ICBDA 2016
PDF
Анатолий Климчук – ARTOX Media International – ICBDA 2016
PPTX
Алексей Смирнов – Актион – ICBDA 2016
PPTX
Александр Воронов – BURDA – ICBDA 2016
Робоэдвайзинг
Как чат-боты меняют банковское обслуживание
Как удаленная идентификация повлияет на бизнес модели в финансовой сфере
Как социальные сети влияют на скоринг
Искусственный интеллект в кредитном скоринге
P2P кредитование и народное поручительство
Francis Bakos, Vitality - FinTech Russia
Руслан Юсуфов, Страхование от кибер-атак - FinTech Russia
Алексей Краснопольский, Онлайн-кассы - FinTech Russia
Иван Беров, Digital Identity - FinTech Russia
Алексей Катрич, IoT в InsurTech - FinTech Russia
Алексей Архипов, Мастерчейн - FinTech Russia
Максим Григорьев, Удаленная идентификация - FinTech Russia
Александр Кузьмин, PSD2 - FinTech Russia
Алексей Благирев, "Открытие" — FinTech Russia 2017
Ханнес Чопра (Hannes Chopra) - FinTech Russia 2017
Антон Бут и Екатерина Огнева – Билайн – ICBDA 2016
Анатолий Климчук – ARTOX Media International – ICBDA 2016
Алексей Смирнов – Актион – ICBDA 2016
Александр Воронов – BURDA – ICBDA 2016
Ad

Андрей Калинин — Mail.Ru Group — ICBDA2016

  • 1. Artisto: стилизация изображений и видео при помощи нейронных сетей Андрей Калинин, руководитель проекта Поиск
  • 2. Artisto • Первое приложение стилизации видео. • Быстро попало в списки лучших. • Реализация известных алгоритмов на нейронных сетях.
  • 3. VGG-16 Davi Frossard, VGG in TensorFlow, http://www.cs.toronto.edu/~frossard/post/vgg16/
  • 4. Visualizing and Understanding Convolutional Networks, 2013 Matthew D. Zeiler, Rob Fergus, https://arxiv.org/pdf/1311.2901v3.pdf Layer 2 Layer 3 Layer 4
  • 5. Deep Inside Convolutional Networks, 2014 Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, https://arxiv.org/pdf/1312.6034.pdf
  • 6. A Neural Algorithm of Artistic Style, 2015 Leon A. Gatys, Alexander S. Ecker, Matthias Bethge; http://arxiv.org/pdf/1508.06576v2.pdf
  • 9. A Neural Algorithm of Artistic Style, 2015 Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, Mar 2016, Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf
  • 11. А как сделать красиво? Настраиваемые параметры: • Вес контента, вес стиля. • Количество итераций. • Регуляризация. • Уровни для восстановления контента, с весами. • Уровни для восстановления стиля, с весами.
  • 13. Texture Networks: Feed-forward Synthesis of Textures and Stylized Images, 2016 Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, 27 Mar 2016, Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf
  • 14. Texture Networks: Feed-forward Synthesis of Textures and Stylized Images, 2016 Texture Networks: Feed-forward Synthesis of Textures and Stylized Images, Dmitry Ulyanov, Vadim Lebedev, Andrea Vedaldi, Victor Lempitsky, 10 Mar 2016, http://arxiv.org/pdf/1603.03417v1.pdf
  • 15. Бэкенд • NVidia GTX 1080 и TitanX. • Torch. • 5-6 миллионов параметров на модель. • 25ms на кадр. • По 3 карты в сервере. • Готовность расширится за счёт облачных решений.
  • 16. Artisto как модель ИИ приложений • Искусственный интеллект – общедоступен. Приложения делать просто. • Программисты должны готовить инфраструктуру. • Важен простой и понятный способ настройки.
  • 18. Спасибо за внимание! Вопросы? Андрей Калинин руководитель проекта Поиск kalinin@corp.mail.ru