Некоторые методы обнаружения артефактов 3D-видео

Некоторые методы
обнаружения
артефактов 3D-видео
Алексей Борисов
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
2

Only for
Maxus 
Введение
Проблемы стереовидео
3
Несогласованность с системой отображения
Артефакты стереосъёмки Артефакты конвертации
 Сдвиг по вертикали, наклон
 Различия по цвету, фокусу
 Рассинхронизация
по времени
 Неправильный Zoom
 Стробление на границах
 Изгибы на вертикальных
границах
 Прилипание мелких
деталей к фону
 Некачественное заполнение
областей открытия
 Нестабильное заполнение
Контроль глубины

Only for
Maxus 
Введение
Проблемы стереовидео
4
Несогласованность с системой отображения
Артефакты стереосъёмки Артефакты конвертации
 Сдвиг по вертикали, наклон
 Различия по цвету, фокусу
 Рассинхронизация
по времени
 Неправильный Zoom
 Стробление на границах
 Изгибы на вертикальных
границах
 Прилипание мелких
деталей к фону
 Некачественное заполнение
 Нестабильное заполнение
Контроль глубины

Only for
Maxus 
5

6Левый ракурс Правый ракурс
Несоответствие по фокусу
Пример из фильма «Аватар»

Only for
Maxus 
Происхождение статьи
7Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

Only for
Maxus 
Постановка задачи
Входные данные:
Выходные данные:
 Степень рассинхронизации
 Рекомендации по исправлению
Приложение:
Автокалибровка фокуса для стереорига
8
Стереопара
Frederic Devernay et al., “Focus mismatch detection

Only for
Maxus 
Математическая модель (1)
9
Параметры камеры: FD, DOF

Only for
Maxus 
Математическая модель (2)

Only for
Maxus 
Шаги алгоритма
11
1. Вычисление карты диспаритета
2. Измерение резкости каждого пикселя
3. Вычисление вспомогательных статистик
4. Оценивание параметров модели
5. Формирование результата
(степень рассинхронизации +
рекомендации по исправлению)

Only for
Maxus 
Шаг 1/5
Вычисление карты диспаритета
12
Используются:
 Алгоритм Optical Flow,
устойчивый к различиям
по фокусу (M. Sizintsev, 2010)
 Алгоритм Left-Right
Consistency Check
для поиска
Julien Marzat, et al., “Real-Time Dense and Accurate Parallel
Optical Flow using CUDA,” in WSCG, 2009

Only for
Maxus 
Шаг 2/5
Измерение резкости
13
Авторы используют: T = 5 N = 1 s = 1

Only for
Maxus 
Шаг 3/5
Вспомогательные статистики
14
Мера надёжности:
Агрегированные значения по уровням глубины:
Индикатор ракурса с большей резкостью пикселя:
M(i) =
w(i) =

Only for
Maxus 
Шаг 4/5
Построение модели
C(d) {−0.7, −0.3, 0, 0.3, 0.7}
Минимизация функционала E(C):

Only for
Maxus 
Шаг 5/5
Формирование результата
16
Сопоставление C(d) c модельными конфигурациями:

Only for
Maxus 
17
J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearЛевый ракурс

Only for
Maxus 
18
J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearПравый ракурс

Only for
Maxus 
Результаты (1)
19
M(d)
w(d)
d d
Индикатор ракурса, более
резкого на заданном
уровне глубины
Мера надёжности
на заданном
уровне глубины

Only for
Maxus 
20
С(d)
d
Построенная модель Эталонная модель

Only for
Maxus 
21
Карта глубины
Карта направления
расфокусировки

Only for
Maxus 
22
Карта глубины
Карта степени
расфокусировки

Only for
Maxus 
23
Карта глубины Левый ракурс
Полосами отмечены регионы,
более резкие на другом ракурсе

Only for
Maxus 
24
Карта глубины Правый ракурс
Полосами отмечены регионы,
более резкие на другом ракурсе

Only for
Maxus 
Выводы
25
Достоинства:
 Теоретическая обоснованность
 Низкая вычислительная сложность
 Возможность улучшения качества
Недостаток:
 Результаты только на синтезированных
данных

Only for
Maxus 
26

Only for
Maxus 
Стабильность по глубине
Постановка задачи
Проблема: «дрожание» объектов по глубине во времени
http://footage.shutterstock.com/clip-770785-stock-footage-
aspen-leaves-tremble-on-a-summer-wind.html
27

Only for
Maxus 
28M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011
IEEE International Workshop
on Hot Topics in 3D

Only for
Maxus 
«Идеальная глубина»

Only for
Maxus 
Используемые обозначения
30
реальная и виртуальная
камеры
фокальные расстояния
горизонтальные координаты
камер в глобальной
системе координат
расстояние
между камерами
M. Solh and G. AlRegib, “A No-reference Quality Measure

Only for
Maxus 
Построение
«идеальной глубины» (1)
31
Основное уравнение синтеза нового ракурса:
Точное выражение для идеальной глубины:
(s= 1)

Only for
Maxus 
32
Эвристика для небольших сдвигов:
Ещё одно приближение:

Only for
Maxus 

Only for
Maxus 
Оценка качества (1)
Основная статистика:
34
Вспомогательные метрики:
 Spatial error Outliers (SO)
 Temporal error Outliers (TO)
 Temporal Inconsistencies (TI)
Предложенная метрика:

Only for
Maxus 
Оценка качества (2)
Вспомогательные метрики
35
Spatial error Outliers:
Temporal error Outliers:
Temporal Inconsistencies:

Only for
Maxus 
Результаты
VQM
DMOS
DMOS =
MOS(reference) −
MOS(processed)
Субъективная
оценка:
Предложенная
метрика:
VQM

Only for
Maxus 
Выводы
37
Достоинство:
 Уникальность
Недостатки:
 Неясность формул
 Неубедительность результатов

Only for
Maxus 
38

Only for
Maxus 
Несоответствие границ
по резкости
39
Левый ракурс Правый ракурсСинтезированная
стереопара
L
R

Only for
Maxus 
40
The True Vision
Capture, Transmission
and Display of 3D Video
Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

Only for
Maxus 
Full-Reference metric
– этал – эталонный и синтезированный ракурсы
– границы на эталонном и синтезированном
– ракурсах
– значение соответствующего пикселя
– из карты глубины
41Hang Shao et al., “Objective quality assessment of depth image

Only for
Maxus 
Исходные (синтезированные) данные
42Hang Shao et al., “Objective quality assessment of depth image
a b c
d e
b

Only for
Maxus 
43a

Only for
Maxus 
44
a
b

Only for
Maxus 
45
a
c

Only for
Maxus 
46
a
d

Only for
Maxus 
47
a
e

Only for
Maxus 
Найденные границы (1)
48
b
a c d e
Границы на синтезированных данных (красный прямоугольник)
Эталонный кадр Эталонная карта границ
b

Only for
Maxus 
Найденные границы (2)
49
b
a c e
Границы на синтезированных данных (синий прямоугольник)
Эталонный кадр Эталонная карта границ
b d

Only for
Maxus 
Сравнение с субъективными оценками
Приемлемое качество: Obj. > 0,7
50
b
Последова-
тельность
Способ
оценки
a b c d e
Tsukuba Obj. 0,479 0,573 0,563 0,707 0,646
Sub. −45 −25 −35 −11 −25
Teddy Obj. 0,557 0,578 0,557 0,756 0,763
Sub. −30 −18 −22 −10 −10
Venus Obj. 0,474 0,615 0,498 0,723 0,728
Sub. −45 −26 −40 −20 −20

Only for
Maxus 
Выводы
51
Достоинство:
 Учитывает глубину объекта (артефакты
на близких объектах более заметны)
Недостаток:
 Финальная оценка по кадру
зависит от сцены (происходит усреднение
по «плохим и хорошим» границам)

Only for
Maxus 
52

Only for
Maxus 
Дальнейшие планы
 Работа над метриками качества
для конвертированного стерео
(использование идей из второй и третей статей)
 Реализация алгоритма
Focus Mismatch Detection
53

Only for
Maxus 
Литература
1. F. Devernay, S. Pujades and V. Ch.A.V., “Focus mismatch detection
in stereoscopic content,” in Proceedings of SPIE, Stereoscopic Displays
and Applications, vol. 8288, San Francisco, CA, 2012.
2. M. Solh and G. AlRegib, "A No-reference Quality Measure
for DIBR-Based 3D Videos," in IEEE International Workshop
on Hot Topics in 3D, Barcelona, July 2011.
3. H. Shao, X. Cao and G. Er, “Objective quality assessment of depth
image based rendering in 3DTV system,” in 3DTV Conference:
The True Vision - Capture, Transmission and Display of 3D Video,
Potsdam, May 2009, pp. 1–4.
54

Only for
Maxus 
Настоящие планы
55
«Хреновый контент»

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
56

Некоторые методы обнаружения артефактов 3D-видео

More Related Content

What's hot (20)

Similar to Некоторые методы обнаружения артефактов 3D-видео (14)

Некоторые методы обнаружения артефактов 3D-видео