[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentation via Instance Selective Whitening
0 likes660 views
![DEEP LEARNING JP
[DL Papers]
RobustNet: Improving Domain Generalization in Urban-
Scene Segmentation via Instance SelectiveWhitening
Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業)
http://deeplearning.jp/
1](https://image.slidesharecdn.com/20210625robustnetlin-210625020332/85/DL-RobustNet-Improving-Domain-Generalization-in-Urban-Scene-Segmentation-via-Instance-Selective-Whitening-1-320.jpg)
[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentation via Instance Selective Whitening
- 1. DEEP LEARNING JP [DL Papers] RobustNet: Improving Domain Generalization in Urban- Scene Segmentation via Instance SelectiveWhitening Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1
- 2. 書誌情報 • タイトル RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening 著者 Sungha Choi*1,3 Sanghun Jung*2 Huiwon Yun4 Joanne T. Kim3 Seungryong Kim3 Jaegul Choo2 1LG AI Research 2KAIST 3Korea University 4Sogang University • CVPR2021(Oral)に採択 • Paper https://arxiv.org/abs/2103.15597 • Code https://github.com/shachoi/RobustNet 2
- 3. 背景 • Domain Generalization (DG) によるunseen domain領域分割 既存の課題 Domain Adaptation (DA) はtarget domainを必要とするため、実用性にかける multiple source domain情報からのDomain Generalizationは、コストがかかる single source domainのDGを提案 3
- 4. Motivation • Instance Normalization (IN) – multiple sourceを必要としない汎化性能の向上が可能 – feature covariance (higher-order statistic of future representation) を考慮しない ため、INはdomain-specific style（色・テキスチャー等）の抽出が不十分 • Feature Whitening – image translation, style transfer, DAにおいて、domain-specific style情報を除去 する手法 • feature covarianceにおけるdomain-specific styleとdomain-invariant contentをdecouplingしたい 4
- 5. Contribution instance selective whitening lossを提案し、 feature covarianceから、 domain-specificとdomain-invariant情報を抽出 提案loss関数の計算リソースが低く、各既存手法に適用できる urban-scene segmentationに実験し、SOTAを達成 5
- 6. 既往研究 • DA/DG – meta-learning, adversarial training, autoencoder, metric learning, data augmentation – batch normは識別能力を向上できる、instance normは過学習を防げる • Semantic segmentation in DG – DGは画像分類に多く研究されている一方、segmentationに関する研究がまだ少ない • Feature covariance – style transferにおいて、feature covariance (correlations) がstyle informationを表現 できる – whitening transformationはfeature representationsから、style informationを除去で きる • feature covarianceから、domain-specific styleを認識し、 style information を除去する手法を提案 6
- 7. Preliminaries • Whitening transformation (WT) – 各channelの分散を１に、任意channel pairの共分散を0にする線形変換 – where, µ=mean vector, Σµ=covariance matrix • WTの欠点 – 固有値（eigenvector）の計算コストが高い – GDWCT（group-wise deep whitening-and-coloring transformation）は、 暗黙的にΣµ を単位行列に近づけるloss関数を提案 – feature covarianceに対し、 domain-specific styleとdomain-invariant contentを分離 していないことが課題 7
- 8. 提案手法 • whitening transformed featureの学習 – 中間特徴マップに対し、Instance Whitening Loss（IW loss）でXsの学習をguide 8
- 9. 提案手法 • Margin-based relaxation of whitening loss – IW lossでは、 Σsが全部0になる傾向がある – instance-relaxed whitening (IRW) loss – 汎化性能の向上につながるcovarianceが残っているかの保証がない 9
- 10. 提案手法 • domain-specific styleとdomain-invariant contentのdecoupling – domain shiftを起こしたstyleに関するcovarianceを特定して取り除く – color jittering/gaussian blurring等のphotometric変換によるaugmentationに起因する domain shiftを対象 • ネットワークの初期化：数epoch程度IW lossでcovariance matrixを学習 • augmentedデータも入力に加え、 それぞれのcovariance matrix (V)の分散行列を計算 • Vはphotometric変換に対するcovarianceの感度を示す。分散が高いcovariance matrix要素には、 domain-specific style情報が入っている 10
- 11. 提案手法 • domain-specific styleとdomain-invariant contentのdecoupling • k-meansクラスタリングで、covariance matrixの右上の要素に対し、分散の大きさにより分類する • 高い要素を残すように、マスクを生成 • instance selective whitening (ISW) lossで、 domain-invariant content情報を抽出するcovariance matrixの学習をguide 11
- 12. 提案 • ネットワーク構造 – ResNetを元に、instance norm layerを３つ追加 – それぞれのISW lossを計算 12
- 13. 実験 – Ablation Studies • 対象:loss関数 – instance weighting (IW) loss – instance-relaxed whitening (IRW) loss – instance selective whitening (ISW) loss • 既存手法は、source domainに過学 習する傾向 • 提案手法は、source dimainでの精度 が低下するのが課題 13
- 14. 実験 – Ablation Studies • 対象:loss関数 – instance weighting (IW) loss – instance-relaxed whitening (IRW) loss – instance selective whitening (ISW) loss • 既存手法は、source domainに過学 習する傾向 • 提案手法は、source dimainでの精度 が低下するのが課題 14
- 15. 実験 – Ablation Studies • 対象:backbone – ＳｈｕｆｆｌｅＮｅV２ – MobileNetV2 • 対象 – 複数source domain 15
- 16. 実験 - 既存手法との比較 • DG手法と比較 • DA手法と比較 – DAはtarget domainを使用する 16
- 17. 実験 - 計算コスト • 既存手法と同程度 17
- 18. 実験 – 定性評価 • covariance matrixの可視化 – 左ペアが浅い層の結果、右ペアが深い層の結果 – style情報が浅い層にあり、深い層で除去されたことを確認できる 18
- 19. 実験 – 定性評価 • whitened featuresで画像を再現 – U-Netで再現 – content情報を保持していることを確認できる 19
- 20. 考察 • Affine parameters – 既存手法では、元の分布の復元や表現能力の向上のため、norm layerに使う – 本手法では、affine parameters/1x1 convで実験したが、有効性を確認できなかった – affine parameters/1x1 convは、元の分布を復元する能力が欠けている • Photometric transformation – content情報に悪影響を与える – 今後は、他の方法も検討 20
- 21. まとめ • instance selective whitening (ISW) lossを提案 – 中間特徴マップに対し、domain-specific styleとdomain-invariant contentを分離 – モデルの汎化性能を向上 – urban-sceneにおけるsegmentationで、提案手法の有効性を確認 • 所感 – domainは有効に拡張されたが、拡張された分類境界に課題が残っている 21