めざせスカウター！ HoloLensによる特定個人の 顔認識アプリ制作とその課題
Download as PPTX, PDF8 likes8,430 views
2017年5月28日(日)に開催された、Android Bazaar and Conference 2017 Spring (ABC2017S)のMR/VRトラックで発表した時の資料
めざせスカウター！ HoloLensによる特定個人の 顔認識アプリ制作とその課題
- 1. めざせスカウター！ HoloLensによる特定個人の 顔認識アプリ制作とその課題 ABC2017 Spring MR/VRトラック(4201 T5) 16:30 ~ 16:55 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰 高橋良希
- 2. 目次 • 自己紹介 • 今回作りたかったモノ • ARとMRの違い、MR開発の難しさ • Basic idea • アプリの全体像 • まとめ
- 3. 自己紹介 • 東京工業大学 M2 岩崎謙汰 • 研究：SNSのグラフサンプリング • 趣味：電車で30分プログラミング 先週作ったゲーム3本 • Unityエンジニア/クライアント側担当 • AR/MR開発で楽しく暮らしたい
- 4. 自己紹介 • 東京工業大学 M1 高橋良希 • 研究：分散機械学習 • 趣味：Caffeによる画像認識アプリ開発 Raspberry Piアプリ開発 • サーバー側担当
- 5. 今回作りたかったモノ
- 11. めざせスカウター！ HoloLensによる特定個人の 顔認識アプリ制作とその課題 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰 高橋良希 オーグマー！ ABC2017 Spring MR/VRトラック(4201 T5) 16:30 ~ 16:55
- 16. 3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) → 人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし今回は自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは…
- 17. 3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) → 人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは… 意外と難しい！
- 18. なぜ難しい？ HoloLensが見ている世界 2D (画像) 3D 解析のしやすさ 解析しやすい 当たり判定のみ 奥行きの判定 わかりにくい わかる どちらも見ている 人間どれ？ どれくらい 遠くにいる？ 噛み合せ たい！
- 19. 解決策: 顔の中心の座標に向けてRayを飛ばす 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 画像解析でクラス名と 顔の中心の座標を取得 Ex)クラス名: yoshiki 顔の中心の標: (600,300) 顔の中心の座標へ Rayを飛ばす この衝突点は yoshikiだとわかる yoshiki
- 20. デモ
- 21. 考察 • 概ね、頭の上に移動しようとしている…? • 認識できるのは研究室メンバーのみだが、 顔認識の精度は改善の余地あり。 • 被写体が動くと頭の上から外れやすい。 • もっとなめらかに動かしたいが、 これ以上早くしようとするとアプリが落ちる。 (現在 HTTP通信とSpatialMappingの更新頻度を 1秒に1回にしている)
- 22. アプリの全体像 HoloLens 被写体 ① Webカメラから 画像を取得 サーバー ③ OpenCVで顔の中心の座標の取得 ④ Deep Learningによる識別 ⑥ 顔の中心の座標に Rayを飛ばし、 頭上の座標を推定 ⑦ 3D空間上にラベルを表示 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 yoshiki
- 23. HoloLensから画像をサーバーに送る • HoloLens側は画像撮って送って返ってきた情報を載せ るだけにしたい！ • WebCameraから画像を取得する • HTTP通信で画像をサーバーに送る ↑普段のUnityの書き方と同じ ↓HoloLens特有設定 • Capabilitiesチェックを忘れない
- 26. 学習 205枚x 6クラス 820枚x 6クラス Neural Network (Alex net) Pre-trained Network 回転・ぼかしに よる増強 精度変化
- 27. まとめ • 人の頭の上に研究室メンバーの名前を表示するアプリを 制作した。 • MR開発で大事なこと →リアル世界の認知と3D空間上の配置をどう組み立てるか • ハードウェアの進歩が先か、エンジニアのアイデアが先か • MR開発これからも楽しんでいきたいです！
- 28. 補足説明 • 今回使用した技術など • HoloLens開発: Windows10, Unity5.6.0 • サーバーサイド: Python • DeepLearnig: Caffe