【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB Images (Oral; Best Paper)
1 like506 views
ECCV 2018 サーベイ cvpaper.challenge はコンピュータビジョン分野の今を映し、創り出す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆（・社会実装）に至るまで広く取り組み、あらゆる知識を共有しています。 http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html
![提案⼿法のアーキテクチャ/パラメータ（2/2）
11
• 本提案のフロー（右図）
• RGB: SSD, AAE 3D回転推定，距離推定
• Depth（オプション）: ICPによる距離調整
• AAEのパラメータ（左図）
• L2 pixel loss, 128x128 [pixel]
• 20,000 views w/ OpenGL
• 学習率: 2.0 x 10-4, 初期化: Xavier
• バッチサイズ: 64, 学習回数: 30,000
• 4 hours on NVIDIA GeForce GTX 1080](https://image.slidesharecdn.com/hirokatsukataokaeccv20182-181002015536/85/ECCV-2018-Implicit-3D-Orientation-Learning-for-6D-Object-Detection-from-RGB-Images-Oral-Best-Paper-11-320.jpg)
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB Images (Oral; Best Paper)
- 1. Implicit 3D Orientation Learning for 6D Object Detection from RGB Images (ECCV 2018 Oral; Best Paper) Martin Sundermeyer1, Zoltan-Csaba Marton1, Maximilian Durner1, Manuel Brucker1, Rudolph Triebel1,2 1German Aerospace Center (DLR), 2 Technical University of Munich 1 http://hirokatsukataoka.net/project/cc/index_cvpaperchallenge.html 資料作成：⽚岡 裕雄
- 2. 6D物体検出 (6D Object Detection)？ 2 XYZ空間で (1) 物体検出 (2) 姿勢推定を同時実⾏ – とにかく難しい！ • 2Dと⽐較すると3Dの検出は空間が劇的に広がる • その上，物体の回転⾓も3Dで求める https://www.youtube.com/watch?v=YBwHZ8yOXfc アノテーション作業もただ2D bboxを付与すれば良いと いうわけではなく，3D空間上で位置と姿勢を対応付 => CAD等を使い，⾃動でデータ作成したい @LineMOD dataset
- 3. この論⽂，何がすごいか？（Why Best Paper?） 3 • 6D物体検出（3次元空間上での位置+姿勢推定問題）に対し， – 合成データ使⽤，リアルデータなし/姿勢ラベルなしで⾼ 精度モデルを学習，RGB画像のみ⼊⼒で推論 – オクルージョン，複雑背景，環境の同的変化に対応 – 計算を効率化，リアルタイムで処理可能
- 4. 関連研究（1/4） 4 – 6D物体検出のコンペティション – 統合データセット（下記）により構成 同コンペの統合DBと⼿法ごとの解析もまたECCV2018にacceptされている Hodan+, “BOP: Benchmark for 6D Object Pose Estimation,” in ECCV 2018. https://arxiv.org/pdf/1808.08319.pdf 応⽤先 • 産業ロボット，VR/AR Workshop/Competition • この分野を流⾏らせたい，研究者を増やし たいという意気込みで開催することが多い • 今後，さらにアクティブになる？
- 5. 関連研究（2/4） 5 • Point Pair Feature (PPF) – SIXD Challenge 2017でも優勝（と書いてある） – 参照点とそのペアとなる部分に投票，共起性が強⼒な拘 束となり強い特徴となる
- 6. 関連研究（3/4） 6 • Domain Randomization – CAD学習（下図），実空間6D検出（右図） – ベースモデル: Faster R-CNN – 学習パラメータ固定*発⾒ Hinterstoisser+, “On Pre-Trained Image Features and Synthetic Images for Deep Learning,” in arXiv preprint 1710.10710, 2017. https://arxiv.org/pdf/1710.10710.pdf * CADの⼤量データで学習したパラメータを固定，出⼒に近い CNNパラメータのみをFinetuning
- 7. 関連研究（4/4） 7 • SSD-6D – 物体検出 => 3D 姿勢検出という流れ – 異なる⼤きさの物体をSSDでマルチスケール検出 – 3D Rotationの学習をCADで実施 Kehl+, “SSD-6D: Making RGB-Based 3D Detection and 6D Pose Estimation Great Again,” in ICCV, 2017. http://openaccess.thecvf.com/content_ICCV_2017/papers/Kehl_SSD-6D_Making_RGB- Based_ICCV_2017_paper.pdf
- 8. 提案⼿法のポイント（1/3） 8 • AAEを⽤いた3次元姿勢推定問題 – 3Dの回転を求めるのが（⼀般的にも）難しい – AE: Autoencoder • Encoder Ψ / Decoder Φ を経て⼊出⼒を⼀致させるよう学習 – AAE: Augmented Autoencoder • Encoderの潜在空間を変化，どの要素を使⽤するか操作 • ⼊⼒画像にRandom Augmentation faugmを加える AAEは変化するスケール/並進にて回転の推定を実施！
- 9. 提案⼿法のポイント（2/3） 9 • AAEを⽤いた3次元姿勢推定問題 – AAE: Augmented Autoencoder • Encoderの潜在空間を変化，どの要素を使⽤するか操作 • ⼊⼒画像にRandom Augmentation faugmを加える (d) -> (a)にて，スケール変化/並進が起こっ た場合でも⾓度の推定を正確に実現
- 10. 提案⼿法のポイント（3/3） 10 • AAEによるEnc./Dec.（3D姿勢推定）の学習 a) 3次元モデルから2次元画像 x に投影 b) faugmにて画像拡張: 証明や背景等を変動 c) Enc./Dec.にて画像を復元，x^ との誤差計算
- 11. 提案⼿法のアーキテクチャ/パラメータ（2/2） 11 • 本提案のフロー（右図） • RGB: SSD, AAE 3D回転推定，距離推定 • Depth（オプション）: ICPによる距離調整 • AAEのパラメータ（左図） • L2 pixel loss, 128x128 [pixel] • 20,000 views w/ OpenGL • 学習率: 2.0 x 10-4, 初期化: Xavier • バッチサイズ: 64, 学習回数: 30,000 • 4 hours on NVIDIA GeForce GTX 1080
- 12. 提案⼿法のアーキテクチャ/パラメータ（2/2） 12 Offline • 3Dモデルの回転を網羅した画像を⽣成 • AAEのエンコーダを通してコードブック（zi = {z1, …, zn}; 128-dim）を⽣成 Online • 検出領域をAAEのエンコーダに通してベクトル(ztest)抽出 • ziとztestを⽐較，最近傍ベクトルを割り当てることで回転⾓推定
- 13. 処理時間 13 • リアルタイム処理（40fps）を実現 • 各⼯程における時間配分 • 4CPUs/GPU (GTX1080)を使⽤ • SoTAなモデルとの⽐較 • 提案法は42fpsとかなり良好な処理時間
- 14. Ablation Study 14 • 異なるセンサ間での評価 – 3Dモデルと任意のセンサでもかなり良好な精度を実現！ • 評価はSIXD challenge@ICCV2017を参照 • 誤差20mmを許容してerr < 0.3 & obj. visibility > 10% • 上のrecallを計算，その⾯積でAUCを算出
- 15. Ablation Study 15 • Latent Space Size • CAD vs. Textured 3D Reconstruction AAEの潜在空間のサイズ • 64-dimで頭打ち モデルはCADか？3Dモデルの2D投影？ • 学習回数25,000までを評価 • Textured 3D Reconstructionの勝利
- 16. 異なるデータセット間の学習・テスト 16 • AAE（提案⼿法） vs. SSD6D – 実空間の姿勢ラベルなし/RGBのみ使⽤で6D物体検出 • AAE 28.65 vs. SSD6D 2.42
- 17. 所感 17 • 6D物体検出アツい！ – 産業応⽤の⾃動化にダイレクトに繋がる • ⽣産数が多い⾃動⾞等⼯業製品の労働を代替可能 • 1秒単位（どころか0.1秒単位）の時間短縮を重要視するので⾃動化したい – 2D検出よりも3D検出はかなり難しそう • アノテーション⼤変なのでドメイン変換したい • ビューポイント変換やセンサ計測等の基礎技術を考える – 本⼿法はラベルなしに3D姿勢推定ができるの凄い！ • 変換画像 faugmを挟んで特徴抽出を学習するのGood Idea（さすがBP） • シンプルに構成されていて精度が出ているので完成度⾼い