Survey of HDR & Tone Mapping Task

응용개발사업부
HDR & Tone Mapping (1/36)
2021/03/19
HDR & Tone Mapping
HDR 기술의 소개부터 딥러닝 기반 최신 톤 매핑 기법까지
Tech Seminar
Presented by 응용개발사업부 이명규

I N D E X
01
02
03
Introduction
HDR & Tone
Mapping
Featured Papers

Introduction
Part 01
1. HDR Image
2. HDR In Various Fields

HDR Image
1-1
• HDR: “Content with a Wider Range of Brightness and Color”
• HDR을 잘 표현하기 위해서는 새로운 디스플레이 장치가 필요
• 기존 콘텐츠: 최대 100nit 밝기, 709 Gamut*
• HDR 콘텐츠: 최대 10,000nit 밝기, 2020 Gamut
HDR LDR
*Gammut: 색상과 채도 (밝기와 대비를 의미하는 Gamma와 구분)
High-Dynamic Range (HDR) Demystified
Object
Approx.
Luminance
(nits)
Sun 1,600,000,000
Arc Lamp 150,000,000
Maximum
Visual Tolerance
50,000
Cloud (Sunny Day) 35,000
2016 UHD TV 800~1,000
Typical Computer Screen 100~300
White Paper
Under the Lamp
50
Night Sky 0.001
Threshold of Vision 0.000003

HDR In Various Fields
1-2
VOD Service Gaming Photography
High Dynamic Range Imaging 기술 및 최근 동향 (The Korean Information Display Society, 2019)
• HDR Imaging?
• 입력 영상에 대해 노출 정도를 다르게 설정 후 취득한 여러 이미지를 합성함으로써 Dynamic Range 증강
• 카메라에 의해 취득된 HDR 영상을 LCD, OLED 등의 디스플레이에서 정확히 표현할 수 있도록 하는 것

HDR In Various Fields
1-2
High Dynamic Range Imaging Technology

HDR & Tone
Mapping
Part 02
1. What is HDR?
2. What is Tone Mapping?

↳
What is HDR?
2-1
Dynamic Range of Human Eye
Use Cyclone® V SoC FPGA to Create Real-time HDR Video(Intel), Investigation on the Use of HDR Images for Cultural Heritage Documentation
• Contrast Ratio란?
• 디스플레이가 출력 가능한 가장 밝은 색(white)과
어두운 색(Black)의 휘도(Luminance) 명암 비율

↳
What is HDR?
2-1
Dynamic Range of Human Eye
'Light Adaptation'(Vision Models for High Dynamic Range and Wide Colour Gamut Imaging, 2020), “High Quality High Dynamic Range Imaging”
Cone Function (추상체 수용기 감지범위)
No
Moon
Moonlight
(Fullmoon)
Early
Twilight
Store,
Office
Outdoors
(Sunny)
Starlight
𝟏𝟎−𝟔
𝟏𝟎−𝟓 𝟏𝟎−𝟒
𝟏𝟎−𝟑
𝟏𝟎−𝟐
𝟏𝟎−𝟏 𝟏 𝟏𝟎𝟏
𝟏𝟎𝟐
𝟏𝟎𝟑
𝟏𝟎𝟒
𝟏𝟎𝟓 𝟏𝟎𝟔
Luminance
(𝒄𝒅/𝒎𝟐
)
Rod Function (간상체 수용기 감지범위)
HDR Display
Normal Display
Image Capturing
(Loss Dynamic Range)
Domain of Human Vision:
≈ 𝟏𝟎−𝟒
~ ≈ 𝟏𝟎𝟔
Conventional Image:
−𝟏 ~ ≈ 𝟏𝟎𝟐
“LDR Image”
(8-bit Integer [0~255])
“HDR Image”
(32-bit Floating Point)
HDR Imaging
(Recover lost Dynamic Range)

↳
What is HDR?
2-1
LDR VS. HDR
High Dynamic Range Imaging 기술 및 최근 동향
• Contrast Ratio에 따른 신호 구분
• 명암비가 1000:1보다 작은 경우: LDR(Low Dynamic Range) 또는 SDR(Standard Dynamic Range)
• 명암비가 1000:1~100,000:1인 경우: EDR (Enhanced Dynamic Range)
• 명암비가 100,000:1보다 큰 경우: HDR(High Dynamic Range)
• HDR 영상의 활용을 위해서는 디스플레이의 영상 신호처리 기술과 함께
색 재현율에 대한 기본적인 이해 필요
Today’s Topic

↳
What is HDR?
2-1
LDR VS. HDR
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
• LDR(SDR)
➢0~255로 256단계 색상 표현 가능 (𝟐𝟓𝟔𝟑
= 𝟏𝟔, 𝟕𝟕𝟕, 𝟐𝟏𝟔개 색 표현 가능)
➢픽셀당 4Byte씩 총 32-bit 사용 (R: 8-bit, G: 8-bit, B: 8-bit, A: 8-bit)
• HDR(OpenEXR format)
➢색상 당 16-bit Floating Point로 표현
➢채널 당 부호 1-bit, 가수에 10-bit, 지수에 5-bit 사용 (알파채널 포함 총 64-bit 버퍼 사용)
➢약 𝟒. 𝟒 × 𝟏𝟎𝟏𝟐
= 4.4e+12 색상 표현 가능 (≈ 𝟒, 𝟒𝟎𝟎, 𝟎𝟎𝟎, 𝟎𝟎𝟎, 𝟎𝟎𝟎개)

↳
What is HDR?
2-1
LDR VS. HDR
High-Dynamic Range (HDR) Demystified, [디스플레이 톺아보기] ㉚ HDR(High Dynamic Range)의 이해
*SDR: Standard Dynamic Range
(30 nit laptops in low power mode, 600 nit HDTVs in vivid mode)
Real World Mastered for SDR* Mastered for HDR

↳
What is HDR?
2-1
Color Bit
[디스플레이 톺아보기] ㉙ 디스플레이 색심도(Color Depth)의 이해, Converting Color Depth | Color
8-bit
3-bit 8-bit 24-bit
10-bit

↳
What is HDR?
2-1
HDR Standard Formats
[디스플레이 톺아보기] ㉚ HDR(High Dynamic Range)의 이해
HDR10 Dolby Vision
Color Gamut
(색역)
Color Depth
(색심도)
10bit 12bit
Peak Luminance
(최대밝기)
1000nits 10000nits
Meta Data
Static
(콘텐츠별 설정)
Dynamic
(프레임별 설정)
BT.2020

↳
What is HDR?
2-1
HDR Standard Formats
High-dynamic-range video
HDR10 HDR10+ Dolby Vision HLG10
CTA Samsung Dolby NHK and BBC
2015 2017 2014 2015
Free
Free (for content company),
Yearly license (for manufacturer)
Proprietary Free
Static
(SMPTE ST 2086, MaxFALL, MaxCLL)
Dynamic
Dynamic
(Dolby Vision L0, L1, L2 trim, L8 trim)
None
PQ PQ PQ (Not always) HLG
10 bit 10 bit (or more) 10 bit or 12 bit 10 bit
Technical
limit
10,000 nits 10,000 nits 10,000 nits Variable
Contents
No rules
1,000 - 4,000 nits (common)
No rules
1,000 - 4,000 nits (common)
(At least 1,000 nits)
4,000 nits common
1,000 nits common
Technical
limit
Rec. 2020 Rec. 2020 Rec. 2020 Rec. 2020
Contents DCI-P3 (common) DCI-P3 (common) At least DCI-P3 DCI-P3 (common)
None HDR10
It depends on the profile used:
- No compatibility
- SDR
- HDR10
- HLG
- Ultra HD Blu-Ray
- UHD-TV (Rec.2020)
- SDR (Rec.709) with color
distortion
Transfer function
Bit Depth
Peak
luminance
Color
primaries
Backward
compatibility
Metadata
Developed by
Year
Cost
Technical
charasteristics

↳
What is HDR?
2-1
모니터의 영상 신호 처리
High Dynamic Range Imaging 기술 및 최근 동향
• 디스플레이는 인간의 시각적 특성을 고려해 신호 처리
• 베버의 법칙에 따라, 정해진 최대 표현량을 정확히 고려해 최적의 화질을 재생할 수 있는
비선형 관계 이해가 중요
• 단순히 선형적으로 빛의 밝기를 표현하면 Posterization 현상이 발생하며,
이를 해결하기 위해 감마 보정 기법 사용
• HDR Imaging은 기존 디스플레이보다 높은 10~12-bit 범위에서 영상을 표현하므로,
주어진 bit depth 내에서 입력/출력 신호 간 관계를 적절하게 정의해야 함
• HDR Imaging은 또한 기존에 사용되던 Standard RGB 대비 170% 증가된
색역(e.g. BT Rec.2020)을 지원해야 함.

↳
• “인간의 감각은 선형적이지 않다”
➢초기에 받은 자극의 정도에 따라 나중에 받는 자극의 수용폭이 달라진다는 생리학 이론
Weber’s Law
손바닥에 100g의 무게부터 조금씩 무게를 늘려 나갔을 때 102g에서 최초로 무게가 다르다는 것을 느낄 수가 있었고,
200g의 물건을 올려놓았을 때는 204g에서 최초로 무게가 다르다는 것을 느낄 수 있었다.
이 실험에서 베버는 최초로 차이를 느낄 수 있을 때의 자극의 증가량 2g, 4g(R 절대판별역)과 처음 올려놓은 표준자극
100g과 200g(R)의 비(R/R상대판별역)는 항상 비례적으로 일정하다는 것을 발견했다.
이렇게 감각으로 구별할 수 있는 한계는 물리적인양의 차이가 아니고, 그 비율관계에 의해 결정된다는 것이다.
베버-페흐너의 법칙(Weber-Fechner’s law), UX디자이너가 알아야 할 심리학 법칙 5가지
What is HDR?
2-1

↳
Gamma Correction
머신 비전 ISP – 17. Gammar Corection, 감마보정 Gamma Correction
• “모니터는 실제보다 어둡게 빛을 표현한다!”
• 사람의 눈은 어두운 환경에서 작은 밝기의 변화에도 민감하게 반응
(반면 밝은 환경에서는 작은 밝기의 변화에 둔감하게 반응)
• “인간의 시각은 비선형적이므로, 굳이 인간이 잘 느끼지 못하는 부분까지 정밀하게
계산할 필요는 없다”
𝒇 𝒙 = 𝑮𝒂𝒊𝒏 × 𝑿𝒈𝒂𝒎𝒎𝒂
+ 𝒐𝒇𝒇𝒔𝒆𝒕
Nonlinear
Transfer
Function
Intensity
(HDR)
Transferred
Intensity
(Display)
일반적인
CRT 모니터의 감마
What is HDR?
2-1

↳
Gamma Correction
Lighting Shading by John Hable, 이미지 파일 감마 (Image File Gamma)와 디스플레이 감마 (Display Gamma)
• 이미지는 일반적으로 1/2.2로 감마를 적용한 상태에서 저장
• 디스플레이 출력 시 올바른 색상 표현을 위해 저장 시의 Gamma를 상쇄해야 함
• 올바른 HDR 결과를 얻기 위해서는 감마 보정 작업을 거쳐야 한다!
What is HDR?
2-1

↳
What is Tone Mapping?
2-2
• 따라서 HDR 포맷을 디스플레이 출력이 가능한 휘도 범위로 변환 처리해야 함.
• 톤 매핑은 HDR 범위를 인간 색 인지에 기반해 Display에서 지원하는 범위로 맞추는 작업
• Tone Mapping 기법의 종류
• HDR to HDR
• HDR to LDR
• LDR to HDR (“Inverse Tone Mapping”)
Tone Mapping
• HDR(FP16)
➢ 색상 당 16-bit Floating Point로 표현
➢ 채널 당 부호 1-bit, 가수에 10-bit, 지수에 5-bit 사용 (알파채널 포함 총 64-bit 버퍼 사용)
➢ 약 𝟒. 𝟒 × 𝟏𝟎𝟏𝟐
= 4.4e+12 색상 표현 가능 (≈ 𝟒, 𝟒𝟎𝟎, 𝟎𝟎𝟎, 𝟎𝟎𝟎, 𝟎𝟎𝟎)
“아무리 실수 범위에서 넓게 계산해도
일반 모니터는 4Byte RGB만 출력 가능”
Today’s Topic

↳
2-2
Tone Mapping
SDR
Content
SDR
Display
SDR
Experience
SDR
Content
HDR
Display
SDR
Experience
HDR
Content
HDR
Display
HDR
Experience
HDR
Content
SDR
Display
Bad
Experience
HDR
Content
HDR▶SDR
Tone Mapping
SDR
Display
SDR
Experience
High-Dynamic Range (HDR) Demystified

↳
2-2
• HDR Imaging에는 비싼 장비와 상당한 연산 시간이 필요
➢ 따라서 LDR 이미지만으로 Real World Luminance를 추정하는 역 톤 매핑 기법의 필요성 대두
• 톤 매핑 과정에서 Linear RGB를 CIE 1931 XYZ Color Space로 변환
➢ 𝑿 = 𝟎. 𝟒𝟏𝟐𝑹𝒘 + 𝟎. 𝟑𝟓𝟕𝑮𝒘 + 𝟎. 𝟏𝟖𝑩𝒘
𝒀 = 𝑳𝑾 = 𝟎. 𝟐𝟏𝟑𝑹𝒘 + 𝟎. 𝟕𝟏𝟓𝑮𝒘 + 𝟎. 𝟎𝟕𝟐𝑩𝒘, where 𝐿𝑊 is real world luminance(≈HDR)
𝒁 = 𝟎. 𝟎𝟏𝟗𝑹𝒘 + 𝟎. 𝟏𝟏𝟗𝑮𝒘 + 𝟎. 𝟗𝟓𝑩𝒘
➢ XYZ Color Space는 인간의 색채 인지 연구를 바탕으로 만들어진 색 공간 (따라서 다른 색공간의 기본이 됨)
• 톤 매핑 과정에서 압축된 정보의 손실이 발생하므로 역 톤 매핑은 ill-posed problem에 해당
• 역 톤 매핑은 𝑹𝒅, 𝑮𝒅, 𝑩𝒅만 주어지므로 Real World Color(𝑹𝒘, 𝑮𝒘, 𝑩𝒘)로 돌아가는 변환인 𝑳𝑾을 알 수 없음
Inverse Tone Mapping
"Inverse tone mapping“, ITU-R Recommendation BT.709 RGB, CIE 1931 color space, high Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting
𝑹𝒅
𝑮𝒅
𝑩𝒅
=
𝑳𝒅
𝑹𝒘
𝑳𝒘
𝑳𝒅
𝑮𝒘
𝑳𝒘
𝑳𝒅
𝑩𝒘
𝑳𝒘
▲ Tone Mapping
𝑹𝒘
𝑮𝒘
𝑩𝒘
=
𝑳𝒘
𝑹𝒅
𝑳𝒅
𝑳𝒘
𝑮𝒅
𝑳𝒅
𝑳𝒘
𝑩𝒅
𝑳𝒅
▲ Inverse Tone Mapping
Compressed
Colors
World
Colors
???

↳
2-2
• Previous Approaches
➢“The Reproduction of Specular Highlights on High Dynamic Range Displays”
✓ 출력 디스플레이 특성을 고려해 Dynamic Range를 적응적으로 조절하는 방법
✓ 빛이 방출되거나 반사되는 영역에 대해 더 많은 정보를 부여해 표현력 향상
➢“Ldr2Hdr: on-the-fly reverse tone mapping of legacy video and photographs”
✓ 입력 영상 내에서 상위 계조를 갖는 영역 검출 후 더 많은 정보를 부여해 표현력 향상
✓ 빛 분포 고려 후 픽셀 표현 가능 범위를 넘어 saturation된 상위 계조에 집중
✓“Physiological inverse tone mapping based on retina response”
✓ 인간의 시각적 특성을 반영한 Perceptual Brightness를 정의해 입출력 영상 신호 간
상관 관계를 적응적으로 정의
Inverse Tone Mapping: Method

↳
2-2
• Deep-Learning Based Approaches
➢“HDR image reconstruction from a single exposure using deep CNNs”
✓ 입력 영상에 대해 상위/하위 계조를 나눈 후 하위 계조는 원본 신호를,
상위 계조는 CNN을 통해 추론된 신호를 사용(단, 전체적으로 어두운 영상에서만 잘 작동)
➢“Deep Recursive HDRI: Inverse Tone Mapping using Generative Adversarial Networks”
✓ GAN을 활용해 성능을 향상(L1-Loss, Adversarial Loss, U-Net, PatchGAN)
Inverse Tone Mapping: Method

Featured Papers
Part 03
1. HDRCNN
(SIGGRAPH ASIA 2017)
2. SingleHDR
(CVPR 2020)
3. LDR2HDR
(SIGGRAPH 2020)

↳
HDRCNN
3-1
"HDR image reconstruction from a single exposure using deep CNNs"
(SIGGRAPH ASIA 2017, GABRIEL EILERTSEN et al.) [Paper, Code]
https://arxiv.org/abs/1710.07480
“Highlight Information을 유지하면서(초록 박스)
Saturate된 색상 영역의 Color Detail 복원”

↳
Convert to
logarithmic HDR
Domain
Performs Bilinear
Up-sampling
Performs
Addition
Predicted HDR image
in log domain
HDRCNN
3-1
Network Structure

↳
HDRCNN
3-1
Problem Formulation & Loss Function
https://arxiv.org/abs/1710.07480, Modeling the Space of Camera Response Functions
𝓛 ෝ
𝒚, 𝑯 =
𝟏
𝟑𝑵
෍
𝒊,𝒄
𝜶𝒊(ෝ
𝒚𝒊,𝒄 − 𝐥𝐨𝐠(𝑯𝒊,𝒄 + 𝝐))
𝟐
𝑯𝒊,𝒄 ∈ ℝ+
# of Pixels
Linear
GT HDR
Predicted
Log HDR
▲ 201 Real-world Response Functions Database(“DoRF”)
෡
𝑯𝒊,𝒄 = 𝟏 − 𝜶𝒊 𝒇−𝟏 𝑫𝒊,𝒄 + 𝜶𝒊𝐞𝐱𝐩(ෝ
𝒚𝒊, 𝒄)
Final Reconstructed
HDR pixels
(where 𝒊=spatial index,
𝒄=channel)
Input
LDR Pixel
Predicted output
(log domain)
Inverse Camera Function
(transform input to linear domain)
Blending
Factor
𝜶𝒊 =
𝐦𝐚𝐱(𝟎,𝒎𝒂𝒙𝒄 𝑫𝒊,𝒄 −𝝉)
𝟏−𝝉
, where 𝝉 =0.95
(하이라이트 부근의 Banding artifact를 방지하기 위한 factor)

↳
SingleHDR
3-2
"Single-Image HDR Reconstruction by Learning to Reverse the
Camera Pipeline" (CVPR 2020, Yu-Lun Liu et al.) [Paper, Code]
“카메라 파이프라인을 역으로 모델링해 학습함으로써
소실된 디테일 정보 복원”

↳
SingleHDR
3-2
Network Structure
▲ LDR Image formation pipeline
▲ Proposed Method

↳
SingleHDR
3-2
Network Structure
▲ Linearization Network
▲ Hallucination Network

↳
LDR2HDR
3-3
"Single Image HDR Reconstruction Using a CNN with Masked Features
and Perceptual Loss" (SIGGRAPH 2020, MARCEL SANTANA SANTOS et al.) [Paper, Code]
https://people.engr.tamu.edu/nimak/Data/SIGGRAPH20_HDR.pdf
“높은 노출로 인해 밝게 타 버린 텍스쳐 영역도 잘 복원”

↳
LDR2HDR
3-3
Demo Images

↳
LDR2HDR
3-3
Network Structure
일반적인 문제와는 달리 타 버린(saturated areas) LDR 영역에
대해서도 잘 작동시키기 위해 Feature Masking 기법을 제안

↳
LDR2HDR
3-3
Network Structure: Feature Masking
𝒁𝒍 = 𝑿𝒍⨀𝑴𝒍
𝑿𝒍+𝟏 = 𝝓𝒍(𝑾𝒍 ∗ 𝒁𝒍 + 𝒃𝒍)
𝑿𝒍 ∈ ℝ𝑯×𝑾×𝑪
, 𝑴𝒍 ∈ 𝟎, 𝟏 𝑯×𝑾×𝑪
𝑊𝑙 and 𝑏𝑙 is weight and bias of the current layer

↳
LDR2HDR
3-3
Loss Function
𝑳 = 𝝀𝟏𝑳𝒓 + 𝝀𝟐𝑳𝒑, 𝒘𝒉𝒆𝒓𝒆 𝝀𝟏 = 𝟔. 𝟎 𝒂𝒏𝒅 𝝀𝟐 = 𝟏. 𝟎
Reconstruction
Loss
Perception
Loss
𝑳𝒓 = (𝟏 − 𝑴 ⊙ (෡
𝒀 − 𝐥𝐨𝐠(𝑯 + 𝟏)) 𝟏
Loss가 Saturate된 영역에서
계산되도록 마스킹
𝑳𝒑 = 𝝀𝟑𝑳𝝊 + 𝝀𝟒𝑳𝒔
𝑳𝝊 = ෍
𝒍
𝝓𝒍 𝓣 ෩
𝑯 − 𝝓𝒍(𝓣(𝑯))
𝟏
𝑳𝑺 = ෍
𝒍
𝑮𝒍 𝓣 ෩
𝑯 − 𝑮𝒍(𝓣(𝑯))
𝟏
𝑮𝒍 𝑿 =
𝟏
𝑲𝒍
𝝓𝒍 𝑿 𝑻𝝓𝒍 𝑿 .
(𝑮𝒍 is Gram matrix of the feature layer 𝒍.)

Thank you for Watching.
brstar96@espresomedia.com (이명규)

Survey of HDR & Tone Mapping Task

More Related Content

What's hot (20)

Similar to Survey of HDR & Tone Mapping Task (20)

More from MYEONGGYU LEE (17)

Recently uploaded (20)

Survey of HDR & Tone Mapping Task