CVPR2019 survey Domain Adaptation on Semantic Segmentation

岡本大和
CVPR’19 SURVEY
Domain Adaptation
on Segmentation Task

自己紹介岡本大和（おかもとやまと）
 京都大学でパターン認識を研究して修士課程修了
 オムロンで技術起点のBusiness Developmentを担当
 夢は京都をポスト・シリコンバレーにすること
⇒ 京都の学生と変人が持つパワーを世界に知らしめたい
@ICDM’18
Banquet
Twitter : RoadRoller_DESU

調査方針
CVPR’19の論文を対象に
Domain Adaptation を Segmentation Task に適用した論文を抽出
・Strong-Weak Distribution Alignment for Adaptive Object Detection
・Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
・Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation
巻末では、
予備知識として近年ポピュラーなMask-R-CNNとRoI-Alignを解説
所感：
・segmentationタスクはpixel単位でClassificationする点が特徴的
・Domain-LOSSをどの段階で,どの部分に,どの強度でかけるかが主要論点

Strong-Weak Distribution Alignment for Adaptive Object Detection
Kuniaki Saito, Yoshitaka Ushiku, Tatsuya Harada, Kate Saenko
Boston University, The University of Tokyo, RIKEN
pdf： https://arxiv.org/pdf/1812.04798.pdf (CVPR’2019)
Git： https://github.com/VisionLearningGroup/DA_Detection
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Chen-Yu Lee, Tanmay Batra, Mohammad Haris Baig, Daniel Ulbricht
Apple Inc
pdf： ttps://arxiv.org/pdf/1903.04064.pdf (CVPR’2019)
Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation
Yawei Luo, Liang Zheng, Tao Guan, Junqing Yu, Yi Yang
Huazhong University, Baidu Research, Australian National University
pdf： https://arxiv.org/pdf/1809.09478.pdf (CVPR’2019)
Git： https://github.com/RoyalVane/CLAN (Coming soon....)
（巻末付録）CyCADA: Cycle-Consistent Adversarial Domain Adaptation
Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A. Efros, Trevor Darrell
EECS and BAIR, UC Berkeley, Openai, Boston University
pdf： http://proceedings.mlr.press/v80/hoffman18a/hoffman18a.pdf (ICML’2018)
Git： https://github.com/jhoffman/cycada_release
（巻末付録）Mask R-CNN、RoI-Align
Kaiming He Georgia Gkioxari Piotr Dollar Ross Girshick
Facebook AI Research
pdf: https://arxiv.org/pdf/1703.06870.pdf
Git: https://github.com/matterport/Mask_RCNN

Strong-Weak Distribution Alignment
for Adaptive Object Detection (CVPR’19)
Experiment:
Task Domain Adaptation on Semantic Segmentation
Model Faster RCNN + ROI-alignment + Domain Prediction Brunch
DataSet ・Adaptation between dissimilar domain（PASCAL⇒Clipart, Watercolor）
・Adaptation between similar domain（Cityscapes⇒Foggy Cityscapes）
・Adaptation from synthetic to real images（GTA ⇒ Cityscapes）
Key Idea:
• Feature MapのH*W個の局所特徴それぞれに強めのAdversarial lossをかける
• Feature Mapの全体に対しては弱めのAdversarial lossをかける

Sliced Wasserstein Discrepancy
for Unsupervised Domain Adaptation (CVPR’19)
Experiment:
Task Domain Adaptation on
Image Classification, Semantic Segmentation and Object Detection
Model VGG-16 + PSPNet, ResNet-101 + PSPNet (*for segmentation task)
DataSet GTA5 -> Cityscape, Synthia -> Cityscape (*for segmentation task)
Key Idea:
• 2つのClassifierでXtargetの予測結果が異なるようにClassifierを学習、重なるようにGeneratorを学習
• このとき予測結果の相違尺度にWasserstein-Distanceを用いるよう改良した
• 距離計算を簡易化するためにradial projectionとlinear projectionを導入したらしいが理解追い付かず
余談ですが Future Workに
・domain randomization
・open set adaptation
・zero-shot domain adaptation
とありました、期待！

Taking A Closer Look at Domain Shift: Category-level Adversaries for
Semantics Consistent Domain Adaptation (CVPR’19)
Experiment:
Model DeepLab-v2 with ResNet-101
DataSet GTA5 -> Cityscape, Synthia -> Cityscape
Key Idea:
• Source-Dataにて、識別器C1とC2の判定結果の和が正しいSegmentationとなるようにLOSSをかける
• 識別器C1とC2が異なる観点を持つ（特徴量の多様性を確保する）ようにLOSSをかける
• 識別器C1とC2の出力から、Discriminatorがドメイン識別できないようにAdversarial-LOSSをかける
• Adversarial-LOSSは判定不一致度合（C1とC2の出力のコサイン距離平均）で重み付けする

（巻末付録）2018年の関連論文
CyCADA: Cycle-Consistent Adversarial Domain Adaptation（ICML’18）
Experiment:
Model VGG16-FCN8s base, and DRN-26
DataSet GTA5 -> Cityscape, Cityscape -> GTA5
Key Idea:
• ドメイン変換する過程で情報損失が起きないように、Cycle lossを導入した
• S->T->Sとドメイン変換したときに元データと一致すれば、変換過程で情報損失がないという考え

（巻末付録）Mask R-CNN
画像中から物体を検出して識別する手法
R-CNN （CVPR’14）
・画像から物体候補領域であるRoI(Region of Interest)を抽出後、各RoIをCNNにかけて物体を検出
Faster-R-CNN （NIPS’15）
・FeatureMAPからRoIを抽出してからCNNで物体検出、R-CNNをEnd-To-Endで学習可能にした。
MASK-R-CNN（ICCV’17）
・Faster-R-CNNにmask-brunchを追加した。mask生成とClassificationのタスクを分離した点が特徴。
参考、画像引用：
・Mask R-CNN Slide Share https://www.slideshare.net/windmdk/mask-rcnn
・Fast R-CNN（Microsoft Research） https://arxiv.org/pdf/1504.08083.pdf
K種類のClassを想定してK個のmaskを出力
誤差逆伝播はClassifier-Brunchの出力クラスｋのmaskにのみ適用

（巻末付録）RoI-Align
検出したRoIから固定サイズのFeature MAPを取得するための手法
RoI-Pooling（ICCV’15でMicrosoft Research が提案）
・RoI座標を整数値に丸めて領域を切出す（例：[(6.4, 2.8), (9.8, 4.2)] ⇒ [(6, 2), (9, 4)] ）
・出力したいFeatureMAPサイズ(HxW)に領域分割して、それぞれでMaxやAverageでPoolingする
・整数値に丸めたり、HxWに領域分割するときに位置ずれが起きることが問題点
RoI-Align（ICCV’17でFacebook AI Research が提案）
・RoIを（整数値に丸めずに）そのまま出力したいFeatureMAPサイズ(HxW)に領域分割する
・RoIの内部にあるグリッド点の座標を（整数値に丸めずに）算出
・グリッド点の値を近傍4ピクセルからbilinear interpolationで算出
・それぞれMaxやAverageでPoolingする
参考、画像引用：
・最新の物体検出手法Mask R-CNNのRoI AlignとFast(er) R-CNNのRoI Poolingの違いを正しく理解する（@yu4u） https://qiita.com/yu4u/items/5cbe9db166a5d72f9eb8
・Mask R-CNN Slide Share https://www.slideshare.net/windmdk/mask-rcnn
RoI-Pooling RoI-Align

CVPR2019 survey Domain Adaptation on Semantic Segmentation

More Related Content

Similar to CVPR2019 survey Domain Adaptation on Semantic Segmentation (20)

More from Yamato OKAMOTO (20)

CVPR2019 survey Domain Adaptation on Semantic Segmentation