Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals （関東CV勉強会 CVPR 2015 読み会）
Download as PPTX, PDF16 likes3,882 views
完全教師なしで物体検出する話。
![この研究の立ち位置
• Supervised localization
Bounding Boxを学習する、
よくあるObject detection
• Weakly-supervised localization
画像全体のラベルだけ
今回のCVPRでも発表有
• Colocalization / Cosegmentation
同じ種類の物体がいると
わかっている画像群に
対して物体検出
• Fully-unsupervised discovery ←今ここ
[Felzenszwalb+, TPAMI 2010]
[Oquab+, CVPR 2015]
[Joulin+,
ECCV 2014]
教
師
あ
り
教
師
な
し](https://image.slidesharecdn.com/20150725kantocvcvprwoad-150725025726-lva1-app6892/85/Unsupervised-Object-Discovery-and-Localization-in-the-Wild-Part-Based-Matching-With-Bottom-Up-Region-Proposals-CV-CVPR-2015-14-320.jpg)
![PASCAL VOC 2007 での結果
• 先程の例はこの実験から
• 定量評価から…
– 何も教師データ無い(=Pのみ)なのに、ちょっとでも
教師データ使う先行研究(=P+N)に勝った！
– [56]はILSVRC2012学習したAlexNet使ってるので、教師あり外部データ使ってるわけで、別に負けてても自然かな…](https://image.slidesharecdn.com/20150725kantocvcvprwoad-150725025726-lva1-app6892/85/Unsupervised-Object-Discovery-and-Localization-in-the-Wild-Part-Based-Matching-With-Bottom-Up-Region-Proposals-CV-CVPR-2015-35-320.jpg)
Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals （関東CV勉強会 CVPR 2015 読み会）
- 1. CVPR 2015読み会 Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals 牛久 祥孝 losnuevetoros
- 2. お前は誰だ？ ～2014.3 博士(情報理工学)、東京大学 • 画像説明文の自動生成 • 大規模画像分類 2014.4～ NTT コミュニケーション科学基礎研究所
- 3. お前は誰だ？ ～2014.3 博士(情報理工学)、東京大学 • 画像説明文の自動生成 • 大規模画像分類 2014.4～ NTT コミュニケーション科学基礎研究所
- 8. 無理…
- 9. でも周りを見回すと… • PASCAL VOC (2012): 1万枚超、矩形領域やセグメントも • ImageNet: 1400万枚超、単一ラベル • Microsoft COCO: 30万枚超、セグメントや説明文も
- 14. この研究の立ち位置 • Supervised localization Bounding Boxを学習する、 よくあるObject detection • Weakly-supervised localization 画像全体のラベルだけ 今回のCVPRでも発表有 • Colocalization / Cosegmentation 同じ種類の物体がいると わかっている画像群に 対して物体検出 • Fully-unsupervised discovery ←今ここ [Felzenszwalb+, TPAMI 2010] [Oquab+, CVPR 2015] [Joulin+, ECCV 2014] 教 師 あ り 教 師 な し
- 15. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
- 16. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
- 17. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
- 19. 確率的ハフマッチング (PHM) 領域同士の • アピアランス（HOG） • 座標 • 近隣領域のマッチングスコア に基づいてマッチングを計算 マッチした領域の上位20ペア
- 20. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
- 26. Standoutスコアによる前景検出 仮説：信頼度が最も大きく変動しやすいあたりが 一番タイトにオブジェクトを囲っているのでは？ 信頼度は高いが、領域が多少ずれても 高いままであまりかわらない
- 28. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
- 30. 評価実験 • データセット：Object Discovery + PASCAL VOC 2007 • Separate-class experiments – あるクラスの物体が写った画像群のみでテスト – CorLoc (Correct Localization) 「推定矩形領域が正解領域と結構重なったか？」 • Mixed-class experiments – あらゆるクラスの物体が写った画像群でテスト – CorRet (Correct Retrieval) 「同じ物体が写った画像が検索されているか？」 – CorLoc、CorRet 両方で評価 3クラス、全300枚 20クラス、全4548枚
- 31. Object Discovery データセットでの結果 先行研究より少ない教師情報でも性能は向上 位置推定の例 ※赤大枠はGround Truthであって、推定結果ではないので注意
- 32. PASCAL VOC 2007 のサブセットでの結果 PASCAL VOC 2007 の20クラスから、 aeroplane, bicycle, boat, bus, horse, motorbike を抜き出したもの 位置推定の例
- 33. PASCAL VOC 2007 のサブセットでの結果 PASCAL VOC 2007 の20クラスから、 aeroplane, bicycle, boat, bus, horse, motorbike を抜き出したもの (Separate-classなので) Positive サンプルのみ Weakly Labeledな先行研究 Positive / Negative サンプル Comparison on separate-class
- 34. PASCAL VOC 2007 のサブセットでの結果 Q. 色々組み合わせてるけど、何が効いてんの？ • 画像毎に複数の領域を残して更新（ロバスト性の為） →最良の領域のみ残す Ours w/o MOR • 位置とアピアランス両方でマッチングするPHM →アピアランスだけでマッチング Ours w/o PHM • 自信度が一番動くあたりを探すStand Out度で領域更新 →自信度自体で領域更新 Ours w/o STO ※資料用に編集済 （意外と？） Stand Out度重要！ CorLoc
- 35. PASCAL VOC 2007 での結果 • 先程の例はこの実験から • 定量評価から… – 何も教師データ無い(=Pのみ)なのに、ちょっとでも 教師データ使う先行研究(=P+N)に勝った！ – [56]はILSVRC2012学習したAlexNet使ってるので、教師あり外部データ使ってるわけで、別に負けてても自然かな…
- 36. まとめ • 完全に教師情報が無い設定でObject discovery – 従来の教師なしobject discoveryは… separate-classのような制限されたデータでしか、まともな 精度が出なかった • 提案手法：パーツに基づくobject discovery – 確率的ハフ変換に基づく頑健なマッチング – Standoutスコアによる前景検出 • Challenging（と著者らは言う）データセット – 完全に教師情報が無くても、先行研究の一部教師あ りの場合と同等 – 教師情報の統合は可能なので、性能upは簡単
- 37. 所感 • Pros – 挑戦的な課題 – 教師なし学習でも一部教師あり学習と同等の精度 • 位置とアピアランス両方によるマッチング • 単に信頼度を見るのではなく、その差分をみるStand outによる 領域更新 • Cons：Wild とは – この論文では＝複数のクラスが混じっているデータ • 従来研究ではSeparate-classでしか性能が出なかったので – 個人的な最初の期待＝Webで収集した大規模データ • 多種多様な物体 • しかも一部の物体のみ偏って頻出…など • 全画像に対して類似画像検索するのが大変になりそう