ARもVRもMRもまとめてドーン
4 likes2,406 views
「シン・Web VRとか文化祭」登壇資料です。 https://html5j-webplat.connpass.com/event/47239/
ARもVRもMRもまとめてドーン
- 2. ・会社ではセンサー＆デバイス部長やってます！ KINECTはHoloLens等のセンサーデバイスを使ったアプリ（イベントコンテンツ、画像処理、画像認識、医療系） ARアプリ、VRアプリ、MixedRealityアプリなどを作っています。 http://www.systemfriend.co.jp/kinect_nui https://youtu.be/ZSXwhj8HqkE ・TMCN (Tokyo MotionControl Network) Co-founder(共同創設者) https://www.facebook.com/TokyoMotioncontrolNetwork ・著書「Intel RealSense SDK センサープログラミング」 https://www.shoeisha.co.jp/book/detail/9784798139630 ・HoloMagicians – 日本初のホロレンズ開発者チーム http://holomagicians.azurewebsites.net/ ・Microsoft MVP for Windows Development https://mvp.microsoft.com/ja-jp/PublicProfile/5002154?fullName=Satoshi%20%20Maemoto 前本 知志 2
- 5. PROJECT DAFTY DAFTY Live System
- 6. ダンス系コンテンツ アキバで学べるパーティAKIPARTY vol.3 ～くりすますだお☆～
- 12. 座標系を合わせる KINECTの3D骨格情報を取得(メートル座標系) Unity座標系と対応させる （1Unity＝1メートル設定で考える） X Y Z 1メートル ↓ 1Unity
- 13. リアルとバーチャルのカメラを シンクロさせる KINECTのリアル設置位置とUnity内のカメラ位置、角度、視点を合わせる KINECTのリアルカメラ映像とのシンクロを取る ＜三種の神器＞ • メジャー • 養生テープ • 三角関数
- 17. GPUでの処理 – UnityでShaderを書く 基本的にはこんなに簡単 if (KINECTのDepth<CGのZバッファ) { return KINECTのColor; } else { return CGのピクセル }
- 18. だが言うは易し… 発生する課題 スムーズな体験をするためには秒間30フレームを下回らない処理スピードを保 持する メインメモリ→GPU転送は低速だが、下記は転送しなければならない 1. RGBカラー映像（1920x1080 Full-Color Full-HD） 2. KINECTのDepthデータ（512×424） 3. RGBとDepthのマッピングデータ（1920x1080 ） Zバッファに書き込みをしないshaderを使っているオブジェクトやパーティク ルは表示されなくなる
- 20. AR・VR・MR
- 21. AR : Augumented Reality 現実世界の上に仮想世界(CG)を上書きする。 現実世界の映像上にCGを重ね合わせる。 映像の表示優先度は常に 現実世界＜CG Screen High layer
- 22. ARの例
- 23. まあ、2016年はこれでしたね。
- 24. VR : Virtual Reality 現実世界からの情報を100%カットし、仮想世界(CG)に没入 する。 現実世界の映像、自分の手などの物体をセンシングして融 合する場合もCGオブジェクトとしてそれらが登場する。 映像の表示比率は常に 現実世界:CG = 0:100 Screen Separate CG World Include
- 25. VRの例
- 26. HTC VIVE やばい。。（Oculus Touchもね） https://youtu.be/40Xogw0mg4Q?t=14m3s VRとポジショントラッキングが合わさるとすごい
- 28. MR : Mixed Reality 現実世界と仮想世界(CG)を融合する。 融合結果の前後関係を反映した状態の映像が創り出される。 MRを実現するためには現実世界の3Dスキャンが必要となる。 Screen + MR World CG World Real World
- 29. MR の例
- 31. 知っておくと頭が良さそうに思われる？表 日本語名 見分けるポイント 必要な処理能力 AR（エイアール) 拡張現実 カメラ映像で現実世界が見え る CGに自分の手をかざすと絶対 手より前にCGが表示される 低 VR（ブイアール） 仮想現実 宇宙とか体内とか女の子の部 屋とか、ありえない場所に放 り込まれる 振り向くとゾンビがいる 中～高 MR（エムアール） 複合現実 カメラ映像または普通に眼鏡 越しで現実世界が見える CGに自分の手をかざすと手よ り前のCGは見えるし、手より 奥のCGは手に隠れる 中～高
- 32. まとめてドーン！
- 35. 通常のコンテンツ
- 37. 単一の世界をシェアするには
- 40. まずは、、 基準座標系を定義する
- 44. 他のデバイスを 世界に参加させる
- 48. Progress 1. PC(KINECT)+HoloLens 試作完了 2. +HTC VIVE 3. +Oculus Rift (Touch) 4. +スマホ (Extended Tracking) 5. +Tango 6. 速い通信とサーバーサイドレンダリングができたらWebでもできないかな。。。
- 49. AR,VR,MRの違いはあれど仮想空間または現実世界に 仮想世界を重ね合わせてみることに違いはない 現実世界はたった一つしかないのだから、そこを基 準に仮想世界を作り重ね、デバイスは世界をのぞく のぞき窓になればよい 基準作りが大切 各のぞき窓が世界をどのように眺めているかが判断 できれば一つのものを様々なデバイスから同時に見 たり、操作ができる まとめ http://satoshi-maemoto.hatenablog.com/entry/2016/12/30/182332