単一の深層学習モデルによる不確実性の定量化の紹介 ~その予測結果正しいですか？~
0 likes31 views
不確実性の定量化(Uncertainty Quantification)の説明と、その手法の中でも単一の深層学習モデルを使った手法について紹介します。
単一の深層学習モデルによる不確実性の定量化の紹介 ~その予測結果正しいですか？~
- 2. AI 2 自己紹介：高橋文彦 GO株式会社 AI技術開発部 データサイエンスグループ チームリーダー 経歴 ✔ 大手ポータルサービス運営会社 ○ ECサイトにおける検索クエリの意図推定 ○ SNSにおけるドメインごとの話題の抽出 ○ 形態素解析器の開発、研究 ✔ GO株式会社 ○ タクシーアプリにおける到着時間予測機能の開発 ○ データビジネス事業立ち上げ ○ ドライバーの行動認識 (『 DRIVE CHART』) 趣味 ✔ ボードゲーム、一蘭、2児の育児 コンペ歴 ✔ SIGSPATIAL 2021 GISCUP 6位 ✔ SIGIR 2018 workshop eCom Rakuten Data Challenge 2位 ✔ HuMob Challenge 2023 11位
- 5. AI 5 ● モデルの予測に対する不確実性を定量化 ● 「Uncertainty Quantification」という研究分野がある ○ 4th Workshop on Uncertainty Quantification for Computer Vision in CVPR 2025 ○ Bayesian Decision-making and Uncertainty in NeurIPS 2024 Workshop 不確実性の定量化 (Apostolopoulou et al., ICML 2024)
- 6. AI 6 ● 医療画像解析 ○ 診断支援の中で低信頼度の予測を医師に回す ○ 心拍数や血圧などの測定値に対する信頼度を可視化し、誤診を防ぐ ● 自動運転 ○ モデルの確信度が低い場合に 人間のオペレーターに介入を求める ○ 不確実性の高いオブジェクトを検知し、未知の障害物を認識 ● 地球観測衛星画像 ○ 低解像度データの影響を受けた領域において信頼性を評価 ● 産業・製造業 ○ センサーデータの不確実性を分析し、機械の故障を事前に予測 ● 自然言語処理 ○ 不確実性が高い応答において、「わからない」と答える ● 学習戦略 ○ 不確実性が高いサンプルを優先的にアノテーションする ● 強化学習 ○ 不確実性を利用して、未知の状態を積極的に探索 不確実性の応用
- 7. AI 7 ● Aleatoric Uncertainty（データ不確実性） ○ データそのものに起因する不確実性で、ノイズや観測誤差などが原因 ○ データが持つ固有のものであり、どれだけデータを増やしても完全に除去す ることはできない ● Epistemic Uncertainty（モデル不確実性） ○ モデルのパラメータや構造に起因する不確実性で、データが不足している場 合やモデルが複雑な場合に発生 不確実性の種類 誤分類部分で 大 遠くや輪郭で 大 参考: https://speakerdeck.com/ftakahashi/ming-ri-shi-erukamosirenailoss-functionsnoaideiatoshi-zhuang?slide=26 ( Kendall et al., NIPS 2017)
- 8. AI 8 手法の分類 推論ごとの 推論回数 1 数回 数回 数回 学習中の 計算量 Low High High Low (Gawlikowski et al., arXiv preprint 2022)
- 10. AI 10 入力の特徴ベクトルとクラスのセントロイドとの距離に基づいて不 確実性を推定 ● feature collapse対策：勾配のノルムが一定になるようなペナ ルティ項(ヤコビアンペナルティ)を損失関数に追加 ● one-vs-the-restで特徴ベクトルを学習 Deterministic Uncertainty Quantification (DUQ) (Van Amersfoort et al., ICML 2020)
- 11. AI 11 Spectral-normalized Neural Gaussian Process (SNGP) (Liu et al., NeurIPS 2020; JMLR 2023) 予測の分布(平均・分散)を直接推定 ● 最終層をガウス過程層 ○ 学習データ間の距離を集約したカーネル行列から共分散を得る ● feature collapse対策：各層でスペクトル正則化 ○ 残差接続があっても表現力を損なわない
- 12. AI 12 SNGPは ● 不確実性が、学習データ周辺で低、OoDデータで高 ● 入力同士の距離が特徴量に正確に反映されている スペクトル正則化とガウス過程層の効果 (Liu et al., NeurIPS 2020; JMLR 2023)
- 13. AI 13 モデル不確実性とデータ不確実性を分離してそれぞれ推定 ● feature collapse対策：各層でスペクトル正則化 ● モデル不確実性：Gaussian Discriminant Analysis ○ 特徴空間上のクラスごとの分布密度 ● データ不確実性：予測分布のエントロピー Deep Deterministic Uncertainty (DDU) (Mukhoti et al., CVPR 2023) 実装：https://github.com/omegafragger/DDU/tree/f597744c65df4ff51615ace5e86e82ffefe1cd0f
- 14. AI 14 ● Log Density = モデル不確実性 ○ OoDを分離 ○ 学習データ中のDirtyの割合が影響 を受ける ● Entropy = データ不確実性 ○ MNISTとAmbiguous-MNISTを分離 ○ 学習データ中のDirtyの割合が影響 を受けない モデル不確実性とデータ不確実性の分離の効果 (Mukhoti et al., CVPR 2023)
- 15. AI 15 学習データの分布を代表するcentroidとの距離から不確実性を計算 ● feature collapse対策：学習データ全体を表現するcentroid ● モデルのweightとcentroidのパラメータを交互に最適化 ● 正則化手法に依存しないためpre-trained modelに適用可 Distance Aware Bottleneck (DAB) (Apostolopoulou et al., ICML 2024) 実装：https://github.com/ifiaposto/Distance_Aware_Bottleneck
- 16. AI 16 手法のまとめ 年 特徴空間の学習の工夫 不確実性の計算 特徴 回帰モデルに 適用できるか DUM 2020 ヤコビアンペナルティ クラスごとの centroidとの距離 x SNGP 2020 スペクトル正則化 カーネル関数 残差接続のあるネットワークに 適用可能 o DDU 2023 スペクトル正則化 クラスごとの分布密度+ 予測エントロピー データ不確実性と モデル不確実性の分離 x DAB 2024 学習データ全体を表現す るcentroid centroidとの距離 pre-trainモデルに適用可能 o 平滑な特徴空間 + 特徴空間上の学習データとの距離計算
- 18. AI 18 ● CIFAR-10でtrain ● SVHN (Street View House Numbers) は、Google Street View の画像から抽出された 実世界の数字画像データセット 分類性能・OoD検出 (Apostolopoulou et al., ICML 2024) Regression Pretrain model Distance Aware far OoD near OoD 決定的なモデルでも そこそこの性能 ベンチマーク 2nd best
- 19. AI 19 ● ECE (Expected Calibration Error) 分類性能・OoD検出・Calibration (Mukhoti et al., CVPR 2023)
- 20. AI 20 Calibration (Apostolopoulou et al., ICML 2024) ● CIFAR-10でtrain, test ● Calibration AUROCはtemperature scalingの影響を受けにくい評価指標 2nd best すこぶる低い
- 21. AI 21 ● DDUはモデル不確実性(Density) ● Dirty-MNISTは実世界のデータセットを想定 Active learning (Mukhoti et al., CVPR 2023) アンサンブル手法も PEかMIかで差が大きい DDUは アンサンブル手法と 同程度
- 22. AI 22 ● (f) DDUのデータ不確実性 ● (g) DDUのモデル不確実性 Semantic segmentation (Mukhoti et al., CVPR 2023) DDUは 誤分類部分で不確実性高い mIoUも同程度で 処理速度も速い
- 23. AI 23 03 まとめ
- 24. AI 24 手法のまとめ（再記） 年 特徴空間の学習の工夫 不確実性の計算 特徴 回帰モデルに 適用できるか DUM 2020 ヤコビアンペナルティ クラスごとの centroidとの距離 x SNGP 2020 スペクトル正則化 カーネル関数 残差接続のあるネットワークに 適用可能 o DDU 2023 スペクトル正則化 クラスごとの分布密度+ 予測エントロピー データ不確実性と モデル不確実性の分離 x DAB 2024 学習データ全体を表現す るcentroid centroidとの距離 pre-trainモデルに適用可能 o 平滑な特徴空間 + 特徴空間上の学習データとの距離計算
- 25. AI 25 ● 実用を意識した手法が提案されている ● OoD検出以外の応用は議論が少ない... ● 手をつけるなら ○ 学習・推論共に潤沢なリソースがあればアンサンブル ○ 簡単に試すなら通常モデルのsoftmax entropy ○ 性能を求めるならDAB ○ 不確実性を分離して解釈性を上げたいならDDU 感想
- 26. AI 26 ● What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?, NIPS 2017, Kendall et al. ● A Survey of Uncertainty in Deep Neural Networks, arXiv preprint 2022, Gawlikowski et al. ● Uncertainty Estimation Using a Single Deep Deterministic Neural Network, ICML 2020, Van Amersfoort et al. ● Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness, NeurIPS 2020, Liu et al. ● A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness, JMLR 2023, Liu et al. ● Deep Deterministic Uncertainty: A Simple Baseline, CVPR 2023, Mukhoti et al. ● A Rate-Distortion View of Uncertainty Quantification, ICML 2024, Apostolopoulou et al. 参考文献