CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction"
9 likes3,305 views
第53回 コンピュータビジョン勉強会＠関東（後編）での発表資料です https://kantocv.connpass.com/event/133974/
![どんなセンサ・レーザーを使っている？
⚫ レーザとSPADを利用したTime of Flight計測への利用
グラフは O’toole et al., Single-Photon 3D Imaging with Deep Sensor Fusion, ToG 2018. より
SPAD
対象物までの
距離がわかる！
レーザ発光からの
経過時間
光を発光してから
SPADまで到達するのに
要した時間 τ
観測データ
フォトンが
センサに到達した
回数
「いつ光が来たか」
の統計値
きょり ＝ はやさ x じかん
※ 経過時間は往復なので、センサ-被写体間の距離は
𝑑 =
𝑐 ⋅ 𝜏
2
光速
3 × 108[m/s]
レーザ発光からの
経過時間
1回目の
計測
2回目の
計測
N回目の
計測・・・
光の飛行時間が
わかると・・・](https://image.slidesharecdn.com/20190707fermatpathsup-190705155547/85/CVPR2019-A-Theory-of-Fermat-Paths-for-Non-Line-of-Sight-Shape-Reconstruction-17-320.jpg)
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction"
- 1. A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction #cvsaisentan CVPR ‘19 読み会 @mhr380
- 5. ところで ⚫ Computational Photographyの会議（ICCP）でホットな話題って？ → Non Line of Sight Imaging ⚫ カメラの視界内に、認識したい対象物が写っている Line of Sight (見通し内) ⚫ カメラの視界内に、認識したい対象物が写っていない Non Line of Sight（見通し外）
- 6. NLoS Imagingの元祖 ⚫ A. Kirmani, T. Hutchison, J. Davis, and R. Raskar, Looking around the corner using ultrafast transient imaging, IJCV 2011. ◼ 通称 “Looking around the corner “ ◼ 高価なレーザ・センサ（ストリークカメラ）を利用 （センサだけで数千万円くらい！）
- 7. NLoS in CVPR ‘19 ⚫ Computational Photographyの会議（ICCP）でホットな話題って？ → Non Line of Sight Imaging ⚫ CVPR2019では6本のNLoS Imaging研究が発表 ◼ Lindellら, Acoustic Non-Line-Of-Sight Imaging ◼ Tsaiら, Beyond Volumetric Albedo - A Surface Optimization Framework for Non-Line-Of-Sight Imaging ◼ Chenら, Steady-State Non-Line-Of-Sight Imaging ◼ Liuら, Analysis of Feature Visibility in Non-Line-Of-Sight Measurements ◼ Leiら, Direct Object Recognition Without Line-Of-Sight Using Optical Coherence ◼ Xinら, A Theory of Fermat Paths for Non-Line-Of-Sight Shape Reconstruction
- 8. NLoS in CVPR ‘19 ⚫ そのうち1本はなんと Best Paper
- 9. 9 In CVPR 2019 (Oral Presentation, Best Paper Award) Presenter: @mhr380 Shumian Xin1, Sotiris Nousias2,3, Kiriakos N. Kutulakos2, Aswin C. Sankaranarayanan1, Srinivasa G. Narasimhan1, Ioannis Gkioulekas1 1Carnegie Mellon University 2University of Toronto 3University College London A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction
- 11. 結果① 500um
- 12. 結果②
- 13. おしながき ⚫ 構成要素 ◼ どんな装置を使っているの？ ◼ どんな観測が得られるの？ ◼ どんなアルゴリズムで3次元形状を復元するの？ ⚫ 実験・結果 ⚫ 所感
- 16. どんなセンサ・レーザーを使っている？ ⚫ SPAD（Single Photon Avalanche Diode）とは？ ◼ 微小な光（フォトン）が到来したことを検知可能な超超超高感度なセンサ • 暗闇でも信号を観測できる • ただし、「光が来た / 来ない」のバイナリ値しか検出不可 • 超高周波（数GHz）で駆動可能 （ナノ秒・ピコ秒に1回の計測ができる） ◼ 近年、LiDARやTime of Flight センサに使われることが増加 • トヨタがSPAD LiDARを試作しているらしい https://monoist.atmarkit.co.jp/mn/articles/1510/22/news037.html
- 17. どんなセンサ・レーザーを使っている？ ⚫ レーザとSPADを利用したTime of Flight計測への利用 グラフは O’toole et al., Single-Photon 3D Imaging with Deep Sensor Fusion, ToG 2018. より SPAD 対象物までの 距離がわかる！ レーザ発光からの 経過時間 光を発光してから SPADまで到達するのに 要した時間 τ 観測データ フォトンが センサに到達した 回数 「いつ光が来たか」 の統計値 きょり ＝ はやさ x じかん ※ 経過時間は往復なので、センサ-被写体間の距離は 𝑑 = 𝑐 ⋅ 𝜏 2 光速 3 × 108[m/s] レーザ発光からの 経過時間 1回目の 計測 2回目の 計測 N回目の 計測・・・ 光の飛行時間が わかると・・・
- 19. 計測によって得られるデータ ⚫ 壁からの反射光を超高速で捉えたデータ レーザー + センサ 壁② 注視点 v 壁から 返ってくる光 壁の向こうから 返ってくる光 とある壁上の点から得られる信号
- 22. アルゴリズム ⚫ おことわり ◼ （私には）結構難解でした ◼ 論文とは異なるNotationをしております ◼ 私の理解が間違っていたら教えてください！ ⚫ Supplemental Materialはこんな感じ（式65まである）
- 23. アルゴリズム ⚫ おことわり ◼ （私には）結構難解でした ◼ 論文とは異なるNotationをしております ◼ 私の理解が間違っていたら教えてください！ ⚫ Supplemental Materialはこんな感じ（式65まである）なるべく数式を使わずに 説明します！！！！
- 24. アルゴリズム ⚫ 前提 ◼ 壁は拡散反射成分が主体 → 壁に到達した光は、あらゆる方向に分散して飛んでいく ◼ レーザの照射点と、センサの注視点は同じ点とする（同軸） ⚫ 解きたい問題 ◼ 注視点から被写体の点を結ぶベクトルを求めたい ◼ 未知パラメータ • ベクトルの長さ • ベクトルの方向 ⚫ 解法 ① 注視点から被写体の点を結ぶベクトルの長さを決定 ② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 壁② 注視点 v ???
- 25. アルゴリズム ⚫ 前提 ◼ 壁は拡散反射成分が主体 → 壁に到達した光は、あらゆる方向に分散して飛んでいく ◼ レーザの照射点と、センサの注視点は同じ点とする（同軸） ⚫ 解きたい問題 ◼ 注視点から被写体の点を結ぶベクトルを求めたい ◼ 未知パラメータ • ベクトルの長さ • ベクトルの方向 ⚫ 解法 ① 注視点から被写体の点を結ぶベクトルの長さを決定 ② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 壁② 注視点 v ???
- 26. 手順① ベクトルの長さを求める ⚫ ベクトルの長さ = 被写体までの距離 = (光速 x SPADで観測した光飛行時間) / 2 解候補となる ベクトル 壁② 注視点 v ???
- 27. 手順① ベクトルの長さを求める ⚫ ベクトルの長さ = 被写体までの距離 = (光速 x SPADで観測した光飛行時間) / 2 注視点から被写体上の点までを結ぶベクトルの解空間は 中心を注視点とし、 光飛行時間 τ で決まる半径となる球面上に存在 計測された光飛行時間 τ 壁② 注視点 v ??? 長さ τ
- 28. 壁② 注視点 v ??? 長さ τ アルゴリズム ⚫ 前提 ◼ 壁は拡散反射成分が主体 → 壁に到達した光は、あらゆる方向に分散して飛んでいく ◼ レーザの照射点と、センサの注視点は同じ点とする（同軸） ⚫ 解きたい問題 ◼ 注視点から被写体の点を結ぶベクトルを求めたい ◼ 未知パラメータ • ベクトルの長さ • ベクトルの方向 ⚫ 解法 ① 注視点から被写体の点を結ぶベクトルの長さを決定 ② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定
- 29. 壁② 注視点 v ??? 長さ τ アルゴリズム ⚫ 前提 ◼ 壁は拡散反射成分が主体 → 壁に到達した光は、あらゆる方向に分散して飛んでいく ◼ レーザの照射点と、センサの注視点は同じ点とする（同軸） ⚫ 解きたい問題 ◼ 注視点から被写体の点を結ぶベクトルを求めたい ◼ 未知パラメータ • ベクトルの長さ • ベクトルの方向 ⚫ 解法 ① 注視点から被写体の点を結ぶベクトルの長さを決定 ② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定
- 30. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 手順① で解候補となるベクトルの長さは決定した ⚫ 残りは、ベクトルの方向が決まれば、壁上の注視点と被写体上の点を結ぶベクトルが決定できる 壁② 注視点 v ??? 長さ τ
- 31. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 重要な性質 （Fermat’s Principal） ◼ 「ヒストグラムにピークをもたらす光線は、物体法線と平行な光線である」 レーザ＆センサ 注視点 v いろんな方向に反射 未知物体の表面 ※レーザの照射点とSPADの注視点は同じ点 観測ヒストグラム （観測する壁から来る光は無視）
- 32. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 重要な性質 （Fermat’s Principal） ◼ 「ヒストグラムにピークをもたらす光線は、物体法線と平行な光線である」 レーザ＆センサ 光線と法線が一致していない場合 反射した光は 注視点ではないどこかに行ってしまう → 注視点を見ているセンサでは観測できない 注視点 v いろんな方向に反射 未知物体の表面 法線 ※レーザの照射点とSPADの注視点は同じ点 観測ヒストグラム （観測する壁から来る光は無視） 注視点で観測される 反射光は少ない
- 33. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 重要な性質 （Fermat’s Principal） ◼ 「ヒストグラムにピークをもたらす光線は、物体法線と平行な光線である」 観測ヒストグラム （観測する壁から来る光は無視） 注視点で観測される 反射光は多い レーザ＆センサ 注視点 v いろんな方向に反射 未知物体の表面 法線 ※レーザの照射点とSPADの注視点は同じ点 光線と法線が一致してる場合 反射した光が同じ注視点にもどってくる → 注視点を見ているセンサでは 多くの光が観測される！
- 34. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ ベクトルの方向を決定するためにある材料 ◼ ベクトルの長さは、光飛行時間 τ ◼ 「ヒストグラムにピークをもたらす光線は、物体法線と平行な光線である」 ◼ 注視点をずらしたときに観測される光飛行時間を手がかりにする 壁② 注視点 v ??? 長さ τ 物体上の点の候補
- 35. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 注視点を動かして観測 ⚫ 「注視点を微小に動かしたときに到達する面の形状はそんなに変わらないはず」 → 隣接注視点が到達する物体上の点も、同じ法線を持つ 観測ヒストグラム （観測する壁から来るフォトンは無視） ※ 論文とはNotationが異なります 注視点 v θ 未知物体 Δτ θ 未知 長さ τ
- 36. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 注視点を動かして観測 ⚫ 「注視点を微小に動かしたときに到達する面の形状はそんなに変わらないはず」 → 隣接注視点が到達する物体上の点も、同じ法線を持つ 観測ヒストグラム （観測する壁から来るフォトンは無視） ※ 論文とはNotationが異なります 注視点 v Δv 注視点の隣接点 v’=v+Δv θ 未知物体 Δτ θ 未知 長さ τ 長さ τ+Δ τ
- 37. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 注視点を動かして観測 ⚫ 「注視点を微小に動かしたときに到達する面の形状はそんなに変わらないはず」 → 隣接注視点が到達する物体上の点も、同じ法線を持つ 観測ヒストグラム （観測する壁から来るフォトンは無視） ※ 論文とはNotationが異なります 注視点 v Δv 注視点の隣接点 v’=v+Δv θ 未知物体 θ Δτ θ θ 未知 長さ τ 長さ τ+Δ τ
- 38. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 注視点を動かして観測 ⚫ 「注視点を微小に動かしたときに到達する面の形状はそんなに変わらないはず」 → 隣接注視点が到達する物体上の点も、同じ法線を持つ 観測ヒストグラム （観測する壁から来るフォトンは無視） ※ 論文とはNotationが異なります 注視点 v Δv Δτ 注視点の隣接点 v’=v+Δv θ 未知物体 θ Δτ Δv θ θ 未知 長さ τ 長さ τ+Δ τ
- 39. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ 注視点を動かして観測 ⚫ 「注視点を微小に動かしたときに到達する面の形状はそんなに変わらないはず」 → 隣接注視点が到達する物体上の点も、同じ法線を持つ ※ 論文とはNotationが異なります 注視点 v Δv 注視点の隣接点 v’=v+Δv θ θ Δv Δτ 未知物体 θ θ θ 90°-θ Δτ: 計測した時間差 Δv 注視点の移動量 （制御可能な値） sin 90∘ − 𝜃 = cos 𝜃 = Δ𝜏 Δ𝑣 𝜃 = cos−1 Δ𝜏 Δ𝑣 未知 長さ τ 長さ τ+Δ τ
- 40. 手順② 隣接点での観測変化量をもとに、ベクトルの向く方向を決定 ⚫ ベクトルの方向を決定するためにある材料 ◼ ベクトルの長さは、光飛行時間 τ ◼ 「ヒストグラムにピークをもたらす光線は、物体法線と平行な光線である」 ◼ 注視点をずらしたときに観測される光飛行時間を手がかりにする 壁② 注視点 v 𝜃 = cos−1 Δ𝜏 Δ𝑣 長さ τ
- 41. スキャン計測 ⚫ 注視点をスキャンしながら計測 ⚫ それぞれの注視点について同様の演算を行うことで、法線をもった点群が得られる ⚫ 法線を持った点群をメッシュ化する（論文のContributionじゃないので詳細は理解していません…）
- 42. おしながき ⚫ 構成要素 ◼ どんな装置を使っているの？ ◼ どんな観測が得られるの？ ◼ どんなアルゴリズムで3次元形状を復元するの？ ⚫ 実験・結果 ⚫ 所感
- 44. 実験系①での評価 ⚫ ピコ秒レーザを利用した実験系（分解能 1mm程度） ◼ 凹面・凸面どちらも良好に推定可能
- 45. 実験系①での評価 ⚫ ピコ秒レーザを利用した実験系（分解能 1mm程度） ◼ 平均誤差： 2mm程度
- 47. おしながき ⚫ 構成要素 ◼ どんな装置を使っているの？ ◼ どんな観測が得られるの？ ◼ どんなアルゴリズムで3次元形状を復元するの？ ⚫ 実験・結果 ⚫ 所感
- 49. まだ理解できていないところ ⚫ 物体の非連続点から到来する光線も、観測にピークをもたらすらしい ◼ 同じグループのCVPR2017論文が参考になりそう（だが間に合わなかった・・・） • Tsai et al., The Geometry of First-Returning Photons for Non-Line-of-Sight Imaging, CVPR ‘17 注視点 v 未知物体の表面 法線 法線が色んな方向に 定義できてしまう？