Fusion4dIntroduction
3 likes3,249 views
Documentation for Introduction Fusion4d at 3dcvtech. 20180527
Fusion4dIntroduction
- 1. Fusion4D: Real-time Performance Capture of Challenging Scenes Mingsong Dou Sameh Khamis Yury Degtyarev Philip Davidson* Sean Ryan Fanello* Adarsh Kowdle* Sergio Orts Escolano* Christoph Rhemann* David Kim Jonathan Taylor Pushmeet Kohli Vladimir Tankovich Shahram Izadi† Microsoft Research Hideki Iwasawa : May 27 2018 第１回 3D勉強会＠関東 第１回 ３D勉強会@ 1 SIGGRAPH 2016
- 2. Free View Point Video 多視点カメラでReal Time ３次元復元 第１回 ３D勉強会@ 2 カメラのない視点からでも自由に観ることが出来る映像 2020年にはオリンピックが自由視点で観れるかも
- 3. Motivation • 自由視点映像システムを実装してみたが、精度が出なかった • 元々の距離画像の精度を向上させる方向を模索していた • Fusion4Dのデモ映像を観て驚いた 第１回 ３D勉強会@ 3
- 4. Comparison Environment 第１回 ３D勉強会@ 4 Fusion4D Our Demo
- 5. Comparison Demo 第１回 ３D勉強会@ 5 Fusion4D Our Demo
- 6. Hardware ・３台１組のカメラ （IRカメラ×２, RGBカメラ×１） 各 1M ピクセル ・３台構成のカメラを８組 ・コンピュータ × 12 CPU Intel Core i7, 3.4GHz CPU メモリ 16GB GPU NVIDIA Titan X × 2 ・マスター コンピュータ × 1 CPU Intel Core i7, 3.4GHz CPU メモリ 16GB GPU NVIDIA Titan X 第１回 ３D勉強会@ 6
- 8. Nonrigid Motion Field Estimation • N枚のDepthmapによるTSDFデータ • RawDepthmapに合わせてモデルを変形させるED-Model • 最適化の為のエネルギー関数 E(G) 第１回 ３D勉強会@ 8
- 9. Deformation field • 𝒯 𝑣 𝑚; 𝐺 = 𝑅 σ 𝑘∈𝑆 𝑚 𝑤 𝑘 𝑚 𝐴 𝑘 𝑣 − 𝑔 𝑘 + 𝑔 𝑘 + 𝑡 𝑘 + 𝑇 • 𝒯⊥ 𝑛 𝑚; 𝐺 = 𝑅 σ 𝑘∈𝑆 𝑚 𝑤 𝑘 𝑚 𝐴 𝑘 −𝑇 𝑛 𝑚 𝑤 𝑘 𝑚 = 1 𝑧 𝑒𝑥𝑝 𝑣 𝑚−𝑔 𝑘 2 2𝜎2 Global Rotation Global TranslationLocal Rotation Local RotationED Node TSDFによって求められたPoint 【 SUMNER, R. W., SCHMID, J., AND PAULY, M. 2007. Embedded deformation for shape manipulation. ACM TOG 26, 3, 80. 】 ノードに対して近い点は大きく影響を受ける ノードに対して遠い点は影響を受けにくい EDノードは4cm毎にサンプリングされており合計2K程とのこと 第１回 ３D勉強会@ 9
- 10. Truncated Signed Distance Function（TSDF） • 符号付きのVoxel • 物体の表面を0とし、表面から離れる程値が大きくなる • voxelの絶対値は一定以上は大きくならない 「セルの値」 = 「センサーから表面までのDepth値」 – 「センサーからVoxelまでの 距離」 第１回 ３D勉強会@ 10
- 12. メッシュの抽出 • TSDFデータからMarching cubes を用いてメッシュを抽出する 【 Zhongjie Long, Kouki Nagamune. Submitted on 28 Sep 2015. A Marching Cubes Algorithm: Application for Three-dimensional Surface Reconstruction Based on Endoscope and Optical Fiber】 ※実装では約250Kの頂点を持つメッシュ を抽出しているとのこと 第１回 ３D勉強会@ 12
- 13. Energey Function • 𝐸 𝐺 = 𝜆 𝑑𝑎𝑡𝑎 𝐸 𝑑𝑎𝑡𝑎 𝐺 + 𝜆ℎ𝑢𝑙𝑙 𝐸ℎ𝑢𝑙𝑙 𝐺 + 𝜆 𝑐𝑜𝑟𝑟 𝐸𝑐𝑜𝑟𝑟 𝐺 + 𝜆 𝑟𝑜𝑡 𝐸𝑟𝑜𝑡 𝐺 + 𝜆 𝑠𝑚𝑜𝑜𝑡ℎ 𝐸𝑠𝑚𝑜𝑜𝑡ℎ 𝐺 ５つのエネルギー関数から成るエネルギー関数 第１回 ３D勉強会@ 13
- 14. Data Term • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚=1 𝑁 𝑚𝑖𝑛 𝑥∈𝑝(𝔻 𝑛) 𝒯 𝑣 𝑚; 𝐺 − 𝑥 2 • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚∈𝑉𝑛 𝐺 ෦𝑛 𝑚 𝐺 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺 2 理想的には推定した3D点とDepthMapから 取得したRaw dataを使う 実際にはこっちを使う 第１回 ３D勉強会@ 14
- 15. Data Term • 𝐸 𝑑𝑎𝑡𝑎 𝐺 = σ 𝑛=1 𝑁 σ 𝑚∈𝑉𝑛 𝐺 ෦𝑛 𝑚 𝐺 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺 2 • 𝛤𝑛 𝑣 = 𝑃𝑛 Π 𝑛 𝑣 • Π 𝑛: ℝ3 → ℝ2 • Ρ𝑛: ℝ2 → ℝ3 Model point data Current point data カメラ座標上のピクセルに対応する点 ෦𝑣 𝑚 𝐺 Γ𝑛 ෦𝑣 𝑚 𝐺 point to plane Kok-Lim Low . Technical Report TR04-004, Department of Computer Science, University of North Carolina at Chapel Hill, February 2004. Linear Least-Squares Optimization for Point-to-Plane ICP Surface Registration 第１回 ３D勉強会@ 15
- 16. Regularization Terms • 𝐸𝑟𝑜𝑡 𝐺 = σ 𝑘=1 𝐾 𝐴 𝑘 𝑇 𝐴 𝑘 − Ι 𝐹 + σ 𝑘=1 𝐾 𝑑𝑒𝑡 𝐴 𝑘 − 1 2 𝐴 𝑘は直交座標系の回転行列になる フロベニウスノルム 直交座標系で はIになる 直交座標系で は１になる 第１回 ３D勉強会@ 16
- 17. Regularization Terms • 𝐸𝑠𝑚𝑜𝑜𝑡ℎ 𝐺 = σ 𝑛=1 𝑁 𝑤𝑗𝑘 𝜌 𝐴𝑗 𝑔 𝑘 − 𝑔𝑗 + 𝑔𝑗 + 𝑡𝑗 − 𝑔 𝑘 + 𝑡 𝑘 2 • 𝑤𝑗𝑘 = 𝑒𝑥𝑝 − 𝑔 𝑘−𝑔 𝑗 2 2𝜎2 𝐴𝑗 𝑣 − 𝑔𝑗 + 𝑔𝑗 + 𝑡𝑗 − 𝐴𝑗 𝑣 − 𝑔 𝑘 + 𝑔 𝑘 + 𝑡 𝑘 隣同士の差があまりないようにする 第１回 ３D勉強会@ 17
- 18. Visual Hull Term • 𝐸ℎ𝑢𝑙𝑙 𝐺 = σ 𝑚=1 𝑀 ℋ 𝒯 𝑣 𝑚; 𝐺 2 • occupancy Volume:ℍ 𝑣𝑜𝑥𝑒𝑙 = ൝ 1 𝑣𝑜𝑥𝑒𝑙 𝑖𝑛𝑠𝑖𝑑𝑒 𝑜𝑓 ℎ𝑢𝑙𝑙 0 各カメラが映す空間の積集合で モデル全体が何処に在るべきかを定義する 第１回 ３D勉強会@ 18KUTULAKOS, K. N., AND SEITZ, S. M. 2000. A theory of shape by space carving. IJCV.
- 19. Correspondence Term WANG, S., FANELLO, S. R., RHEMANN, C., IZADI, S., AND KOHLI, P. 2016. The global patch collider. CVPR. ５つの決定木で深さ15で上手くいったらしい f 𝑝; 𝜃 = ቊ 𝐿 𝑖𝑓 𝐼𝑠 𝑝 + Τ𝑢 𝑑 𝑠 − 𝐼𝑡 𝑝 + Τ𝑣 𝑑 𝑡 < 𝜃 𝑅 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 距離で正規化 ソース ターゲット 𝐸𝑐𝑜𝑟𝑟 𝐺 = 𝑛=1 𝑁 𝑓=1 𝐹 𝑛 𝜌 𝒯 𝑞 𝑛𝑓; 𝐺 − 𝑃𝑛 𝑢 𝑛𝑓 2 𝑞 𝑛𝑓 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑣∈𝑉 Π 𝑛 𝒯 𝑣; 𝐺 𝑝𝑟𝑒𝑣 − 𝑢 𝑛𝑓 𝑝𝑟𝑒𝑣 Π 𝑛: ℝ3 → ℝ2 Ρ𝑛: ℝ2 → ℝ3 ピクセル値 前のフレームの Deformedpoint 3D correspondence robustifier I:中心座標をpとするローカルパッチx (u,v) は 2D pixel のオフセット 𝛿 = 𝑢, 𝑣, 𝜃 は学習済 第１回 ３D勉強会@ 19
- 20. Optimization • 𝐸 𝐺 = 𝑓 𝑥 ⊺ 𝑓 𝑥 • →非線形最小二乗問題として取り扱うことが可能 𝐽⊺ 𝐽 + 𝜇Ι ℎ = −𝐽⊺ 𝑓 𝐿𝑒𝑣𝑒𝑛𝑏𝑒𝑟𝑔𝑀𝑎𝑟𝑞𝑢𝑎𝑟𝑑𝑡 (𝐿𝑀) 𝐸 𝑑𝑎𝑡𝑎 𝐺 = 𝑛=1 𝑁 𝑚∈𝑉𝑛 𝐺0 ෦𝑛 𝑚 𝐺0 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺0 2 実際には近似式を使った 第１回 ３D勉強会@ 20
- 21. Optimization • 𝐸 𝐺 = 𝑓 𝑥 ⊺ 𝑓 𝑥 • →非線形最小二乗問題として取り扱うことが可能 𝐽⊺ 𝐽 + 𝜇Ι ℎ = −𝐽⊺ 𝑓 𝐿𝑒𝑣𝑒𝑛𝑏𝑒𝑟𝑔𝑀𝑎𝑟𝑞𝑢𝑎𝑟𝑑𝑡 (𝐿𝑀) 𝐸 𝑑𝑎𝑡𝑎 𝐺 = 𝑛=1 𝑁 𝑚∈𝑉𝑛 𝐺0 ෦𝑛 𝑚 𝐺0 ⊺ ෦𝑣 𝑚 𝐺 − Γ𝑛 ෦𝑣 𝑚 𝐺0 2 実際には近似式を使った 第１回 ３D勉強会@ 21
- 22. Linear Solving • Linear Solverで最適化 • preconditioned conjugate gradient (PCG)を使用する • ヤコビアンの評価が大幅に少なくてすむため、かなり高速 第１回 ３D勉強会@ 22
- 23. Linear Solving 第１回 ３D勉強会@ 23
- 24. Fusion at Data frame – Selective Fusion ෪𝑒 𝑟 = ቐ 𝐷 𝑑 ෪𝑥 𝑟 𝑖𝑓ℋ 𝑑 ෪𝑥 𝑟 = 0 𝑚𝑖𝑛 𝐷 𝑑 ෪𝑥 𝑟 , ℋ 𝑑 ෪𝑥 𝑟 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝑒 𝑝𝑖𝑥𝑒𝑙 = ቐ 𝑚𝑖𝑛 1.0, 𝑑−𝑑 𝑝𝑟𝑜𝑗 𝑑 𝑚𝑎𝑥 𝑖𝑓𝑑 𝑝𝑟𝑜𝑗 𝑖𝑠 𝑣𝑎𝑙𝑖𝑑 1.0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 第１回 ３D勉強会@ 24 Voxel Misalignment 現実にはトポロジーが変化する物体を １つのモデルで表現することは難しい
- 26. Key Volumes 第１回 ３D勉強会@ 26
- 27. 第１回 ３D勉強会@ 27
- 28. 第１回 ３D勉強会@ 28
- 29. 第１回 ３D勉強会@ 29
- 30. 第１回 ３D勉強会@ 30
- 31. 第１回 ３D勉強会@ 31
- 32. 第１回 ３D勉強会@ 32
- 33. 第１回 ３D勉強会@ 33
- 34. 第１回 ３D勉強会@ 34
- 35. Comparison カメラの数がFusion4Dより82台多い“Collet et al. 2015”の4倍の速度 第１回 ３D勉強会@ 35
- 36. Time consumption 第１回 ３D勉強会@ 36
- 40. • 名前：岩澤 秀樹 • フリーランスエンジニア • Mail: hiwasawa0715@gmail.com ご興味、ご指摘等ありましたらご連絡頂ければと思います。 第１回 ３D勉強会@ 40