論文紹介：On Feature Normalization and Data Augmentation
0 likes94 views
Boyi Li, Felix Wu, Ser-Nam Lim, Serge Belongie, Kilian Q. Weinberger,"On Feature Normalization and Data Augmentation" CVPR2021 https://openaccess.thecvf.com/content/CVPR2021/html/Li_On_Feature_Normalization_and_Data_Augmentation_CVPR_2021_paper.html
![モーメント交換：生成モデル
nインスタンス内正規化
• 画像ごとのスタイルや根本的な構造を潜在化
• 画像ごとのスタイル：色の明暗などの画像全体の雰囲気や質感
• 根本的な構造：画像中の物体の形状や輪郭
• モーメント交換
• 生成された画像のスタイルや形状を制御する一般的な方法
[Huang+, ICCV2017] PONO [Li+, NeurIPS2019]](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-3-320.jpg)
![従来の複数画像を用いたデータ拡張手法
nMixup [Zhang+, ICLR2018]
• 複数画像を線形にブレンド
• ラベル：線形補間によって重み付け
nCutMix [Yun+, ICCV2019]
• 複数画像を定められた割合で切り貼り
• ラベル：割合によって重み付け
モデルに入力される前の
段階で複数画像をMixして
情報を集約する](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-4-320.jpg)
![画像分類におけるモーメント交換
nStylized ImageNet [Geirhos+, ICLR2019]
• ImageNet [Deng+, CVPR2009] で学習したCNNモデル
• 認識の際にテクスチャに偏るバイアスを持つ傾向
nAdaINを用いてスタイル転送
• 正規化モーメントを利用した転送
• モデルに形状重視の学習をさせることが目標](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-5-320.jpg)
![正規化手法の選択
nResNet110でCIFAR100を学習した時の性能で評価
• MoEx：すべての正規化アプローチで一般的に機能
• PONOが最も有効な正規化手法
• 最も効果的に特徴量の構造情報を捉える
nMoExでの正規化手法：PONO [Li+, NeurIPS2019]を使用](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-7-320.jpg)
![MoEx層の選択
n正規化手法の捉える情報に依存
nResNet110 [He+, arXiv2015]の場合
• PONO・GN
• 第１層（第1ステージの手前）で適用
• 局所的な情報を捉えるため
• LN：第３ステージの直前
• IN：第２ステージの直前
大域的な特徴に対して正規化モーメントを計算](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-9-320.jpg)
![実験：ImageNet
n実験設定
• バッチサイズ：1024
• 学習率：0.4
• スケジューラー：CosineAnnealingLR
• 最初の5エポック：Linear Warmup
nモデル
• ResNet50 [He+, arXiv2015]
• ResNeXt50 (32 4d) [Xie+, CVPR2017]
• DenseNet-265 [Huang+, CVPR2017]
n全体的に分類性能向上](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-12-320.jpg)
![下流タスクへの適用
n物体検出タスク
• データセット：Pascal VOC・COCO [Lin+, ECCV2014]
nモデル：Faster R-CNN [Ren+, NeurIPS2015]
• バックボーン：Detectron2に実装されたC4またはFPN [Lin+, CVPR2017]
n４つの条件でImageNetを学習して事前重みとして物体検出
• default：[He+, arXiv2015]で提供されている重み](https://image.slidesharecdn.com/20241119onfeaturenormalizationanddataaugmentation-241119093807-981639f7/85/On-Feature-Normalization-and-Data-Augmentation-13-320.jpg)
論文紹介：On Feature Normalization and Data Augmentation
- 1. On Feature Normalization and Data Augmentation Boyi Li, Felix Wu, Ser-Nam Lim, Serge Belongie, Kilian Q. Weinberger CVPR2021 杉本拓也（名工大玉木研） 2024/11/19
- 2. 研究の概要・背景 n 従来の画像認識 • インスタンス間正規化 • 例）バッチ正規化 • ミニバッチのインスタンス間で 平均・分散算出 • 一般的にノイズとして除去 n 画像生成における正規化 • インスタンス内正規化 • 画像のスタイルや形状の情報をおおよそ捉える • 生成プロセスで除去されずに重要な役割 • モーメント交換でスタイルや形状を制御 n モーメント交換を画像認識手法でのデータ拡張に応用 • モーメント：正規化プロセスで算出される平均・分散
- 3. モーメント交換：生成モデル nインスタンス内正規化 • 画像ごとのスタイルや根本的な構造を潜在化 • 画像ごとのスタイル：色の明暗などの画像全体の雰囲気や質感 • 根本的な構造：画像中の物体の形状や輪郭 • モーメント交換 • 生成された画像のスタイルや形状を制御する一般的な方法 [Huang+, ICCV2017] PONO [Li+, NeurIPS2019]
- 4. 従来の複数画像を用いたデータ拡張手法 nMixup [Zhang+, ICLR2018] • 複数画像を線形にブレンド • ラベル：線形補間によって重み付け nCutMix [Yun+, ICCV2019] • 複数画像を定められた割合で切り貼り • ラベル：割合によって重み付け モデルに入力される前の 段階で複数画像をMixして 情報を集約する
- 5. 画像分類におけるモーメント交換 nStylized ImageNet [Geirhos+, ICLR2019] • ImageNet [Deng+, CVPR2009] で学習したCNNモデル • 認識の際にテクスチャに偏るバイアスを持つ傾向 nAdaINを用いてスタイル転送 • 正規化モーメントを利用した転送 • モデルに形状重視の学習をさせることが目標
- 6. Moment Exchange (MoEx) n特徴量空間でモーメントを交換 • ２つの画像の情報を含む特徴量をモーメント交換で形成 • ラベル：損失関数で重み付け n正規化手法の選択が重要
- 7. 正規化手法の選択 nResNet110でCIFAR100を学習した時の性能で評価 • MoEx：すべての正規化アプローチで一般的に機能 • PONOが最も有効な正規化手法 • 最も効果的に特徴量の構造情報を捉える nMoExでの正規化手法：PONO [Li+, NeurIPS2019]を使用
- 8. PONO nインスタンス内の各位置に対してチャネル方向で正規化 • データ拡張によらず不変的 • 他の正規化手法と補完的 • 各位置で正規化するため nPONOで算出された平均・標準偏差 • 入力画像の構造情報を捉える役割 • 空間的な配置やパターン • エッジや輪郭 • 空間的なパターン・テクスチャ
- 9. MoEx層の選択 n正規化手法の捉える情報に依存 nResNet110 [He+, arXiv2015]の場合 • PONO・GN • 第１層（第1ステージの手前）で適用 • 局所的な情報を捉えるため • LN：第３ステージの直前 • IN：第２ステージの直前 大域的な特徴に対して正規化モーメントを計算
- 10. ハイパーパラメータ n損失関数 • クラスラベル𝑦!と𝑦"を予測するように設計 • ℒ = 𝜆・𝑙 ℎ! " , 𝑦! + 1 − 𝜆 ・𝑙 ℎ! " , 𝑦" . 𝜆：補間重み • 経験的に0.9でデータセット全体で効果的に機能 • モーメントは正規化された特徴量よりも情報が少ないため n実行確率 p • ほとんどのデータセット：p = 0.5 • ImageNet：p = 1 • より強力なデータ拡張が必要 n他のデータ拡張やインスタンス間正規化と組み合わせ可能
- 11. 実験：CIFAR n様々なモデルでMoExを評価 • 上：MoEx無し • 下：MoEx有り • 誤分類率で評価・比較 n第１層目の後の特徴量に対して MoExを適用 n全てのベースライン性能を向上
- 12. 実験：ImageNet n実験設定 • バッチサイズ：1024 • 学習率：0.4 • スケジューラー：CosineAnnealingLR • 最初の5エポック：Linear Warmup nモデル • ResNet50 [He+, arXiv2015] • ResNeXt50 (32 4d) [Xie+, CVPR2017] • DenseNet-265 [Huang+, CVPR2017] n全体的に分類性能向上
- 13. 下流タスクへの適用 n物体検出タスク • データセット：Pascal VOC・COCO [Lin+, ECCV2014] nモデル：Faster R-CNN [Ren+, NeurIPS2015] • バックボーン：Detectron2に実装されたC4またはFPN [Lin+, CVPR2017] n４つの条件でImageNetを学習して事前重みとして物体検出 • default：[He+, arXiv2015]で提供されている重み
- 14. まとめ n正規化モーメントを使用したデータ拡張手法を提案 • インスタンス内正規化による正規化モーメントを有効活用 n多くのデータセットやモデルで性能向上 • 一貫して分類精度と頑健性を改善 n下流タスクへの応用 • 例：物体検出タスク • MoExで事前学習した重みを使用 • 有効な結果を示す