【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
Download as PPTX, PDF0 likes573 views
1) The document proposes a simple method called Standardized Max Logits (SML) to detect unexpected road obstacles in semantic segmentation. SML normalizes the maximum logit values for each class to account for differences between in-distribution classes and better identify anomalies. 2) SML is combined with iterative boundary suppression and dilated smoothing techniques to gradually remove false positives and negatives, especially around boundaries. 3) Experiments on three datasets demonstrate SML achieves state-of-the-art performance in detecting anomalies without requiring retraining or additional out-of-distribution data, while maintaining efficient computation.
![DEEP LEARNING JP
[DL Papers]
Standardized Max Logits: A Simple yet Effective Approach
for Identifying Unexpected Road Obstacles in Urban-Scene
Segmentation
Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業)
http://deeplearning.jp/
1](https://image.slidesharecdn.com/20211022lin-211022015529/85/DL-Standardized-Max-Logits-A-Simple-yet-Effective-Approach-for-Identifying-Unexpected-Road-Obstacles-in-Urban-Scene-Segmentation-1-320.jpg)
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
- 1. DEEP LEARNING JP [DL Papers] Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1
- 2. 書籍情報 • タイトル – Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation • 著者 – Sanghun Jung*1 Jungsoo Lee*1 Daehoon Gwak1 Sungha Choi2 Jaegul Choo1 – 1KAIST AI 2LG AI Research • ICCV2021(oral)に採択 • Paper – https://openaccess.thecvf.com/content/ICCV2021/html/Jung_Standardized_Max_L ogits_A_Simple_yet_Effective_Approach_for_Identifying_ICCV_2021_paper.html • Code – https://github.com/shjung13/Standardized-max-logits 2
- 3. 概要 • 提案手法の概要 – 道路等の都市環境にて、semantic segmentationにおける異常物体検出を対象 • 学習データとして定義されていないもの • OOD(Out-of-Distribution） – 簡単な解決策 • モデルの推定結果（確率）の活用 • クラスに依存するため、結果が不安定 – 本論文は、簡単な解決策を提案 • クラス間の推定結果を正規化 • 隣接の結果と照合し、結果を改善 • 別のデータセットや、再学習を要しない 3
- 4. 既往研究 • Detecting unexpected objects in semantic segmentation – 異常クラスの学習に、別のデータセットを使用 • ImageNet上の物体をcropし、学習データに貼り付ける – 一般的OOD問題と扱う • 再学習が必要となる – 画像の再生成（resynthesis） • segmentationの結果から、元の画像を再現し、元画像との差分を異常物とする • 推論時間が長くなってしまう 4
- 5. 既往研究 • Detecting unexpected objects in semantic segmentation – 学習済モデルのみ利用 • 通常物体の推定確率（MSP, maximum softmax probability）が異常物体より高い • MSPは高い確率を出す傾向があるため、異常物体の確率を高める恐れがある • max logit（softmax前の確率）は、クラス毎にrangeが異なる 5
- 6. 提案手法の全体図 1. Max logitを取得し、class-wiseな正規化を行う 異常物体の確率は、一部のIn-distributionクラスより、高い可能性がある 2. 境界付近のfalse positiveを徐々に除去 境界付近のFPの確率は低い傾向 細かいFPに対し、local consistencyを利用してsmoothingを行う 6
- 7. 提案手法 • Notation – Input image: 𝑋 = 𝑅3×𝐻×𝑊, – C＝pre-defined class – logit output 𝐹 ∈ 𝑅𝐶×𝐻×𝑊 – max logit 𝐿 ∈ 𝑅𝐻×𝑊 – prediction 𝑌 ∈ 𝑅𝐻×𝑊 – at location h, w • 𝐿ℎ,𝑤 = max 𝑐 𝐹𝑐,ℎ,𝑤 • 𝑌ℎ,𝑤 = argmax 𝑐 𝐹𝑐,ℎ,𝑤 7
- 8. 提案手法 • Standardized Max Logits (SML) in class-wise manner – 学習サンプルから、各クラスのmax logitの平均𝜇𝑐と分散𝜎𝑐 2を取得しておく – where i=training sample, は指示関数 – テスト画像の各画素に対し、SMLを計算 8
- 9. 提案手法 • Enhancing with Local Semantics – Iterative boundary suppression – 境界に隣接しない画素のSMLを境界画素に伝播し、段階的に境界を縮小させ、境界 あたりのfalse positiveとfalse negativeを段階的に除去 • i-th iterationのboundary widthをriとする（ハイパラ） • non-boundary maskを生成：該当画素の分類結果が同じかつ、距離＜ ri 9
- 10. 提案手法 • Enhancing with Local Semantics – Iterative boundary suppression – 境界に隣接しない画素のSMLを境界画素に伝播し、段階的に境界を縮小させ、境界 あたりのfalse positiveとfalse negativeを段階的に除去 • 境界画素に、boundary-aware average poolingを適用 • boundary width ri はΔ2, iteration=4, r0=8 10
- 11. 提案手法 • Enhancing with Local Semantics – Dilated smoothing – 細かい誤検出の分類確率が低い/高い場合、前の方法は除去できない – local consistencyを利用し、dilated Gaussian kernelで除去 – where k=7, dilation rate=6, σ=1 11
- 12. 実験 -データセット • Fishyscapes Lost & Found – Cityscapesの画像に、本物の異常物（from Lost & Found DS）を合成 • Fishyscapes Static – Cityscapesのvalidationデータに、PASCAL VOCの物体を異常物体として合成 • Road Anomaly – 60サンプルのみだが、様々な道路シーンがあり、チャレンジングなDS 12 Fishyscapes Road Anomaly
- 13. 実験の設定 • Cityscapesで学習したDeepLabv3＋を使用（backboneはResNet101） • 評価基準 – AUROC: area under receiver operating characteristics – AP – FPR95: false positive rate at a true positive rate of 95% 13
- 14. 実験結果 • Fishyscapes leaderboardとの比較 – 別情報・再学習が必要な手法と比較しても劣っていない – 同条件の手法において、SOTA 14
- 15. 実験結果 • 同条件の手法と比較 – 3つのDSで、SOTAを達成 – 特に、誤検出を大幅に削減 15
- 17. 実験 – ablation study • SMLが最も効果的 – MSPは、異常物体とin-distributionをうまく分類できない可能性がある – Max logitは、クラスに依存し、不安定になる • Iterative boundary suppressionがない場合、確率の低いnon-boundary画素 は、boundary画素のSMLが伝播されてしまう可能性がある 17
- 18. 考察 • Semantic segmentationへの影響 – 元のsegmentation結果は大きく劣化していない – 提案手法の実用性が高い 18
- 21. まとめ • 本論文は、semantic segmentationにおける異常物体を検出するシンプルな 手法を提案 • Standardized Max Logitは、(in-distribution)クラス間の違いを考慮した異常 物体の確率を推定 • Iterative boundary suppressとDilated smoothingで、false positiveとfalse negativeを削減し、性能を向上 • 提案手法は、再学習と、追加のOODデータセットが不要で、計算量も少ない • 十分な実験を行い、提案手法の有効性を検討 21