XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
2 likes1,744 views
「Tokyo HoloLens ミートアップ vol.13 日本上陸2周年記念！ 」(https://hololens.connpass.com/event/111244/)登壇資料。 Mixed Reality Toolkit -Unityの次期バージョンであるMixed Reality Toolkit - Unity 2018.9.0Betaを調査し、MTRK V1との違いや次期バージョンでの開発方法を紹介した資料です。
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
- 2. こんな人が話します Miyaura Takahiro ◦Twitter @takabrz1 ◦ 某会社でSEしています。 ◦ 大阪駆動開発コミュニティ所属 ◦ HoloLensを中心としたXR技術を探求 ◦ Microsoft MVP for Windows Development(2018-2019) ◦ カテゴリ：Mixed Reality ◦ https://qiita.com/miyauraでMixed Reality開発Tips公開中！ 2019/01/18
- 8. 1.Mixed Reality Toolkit – Unity (通称MRTK) 2019/01/18
- 9. 1. Mixed Reality Toolkit – Unity 1.1.コンセプト 2019/01/18 Microsoft HoloLensおよびWindows Mixed Realityヘッドセットをターゲットとするア プリケーションの開発を加速することを目的としたスクリプトおよびコンポーネント群。 【目的】 MRアプリケーションを作成し、コミュニティに貢献するための参入障壁を減らすこと https://github.com/Microsoft/MixedRealityToolkit-Unity/
- 10. 1. Mixed Reality Toolkit – Unity 1.2.レイヤー構成 2019/01/18 Mixed Reality Toolkitは、Microsoft HoloLensおよびWindows Mixed Realityヘッドセットをターゲットとするアプリケーションの開発を加速することを目的としたスクリプトおよびコ
- 11. 1. Mixed Reality Toolkit – Unity 1.3.提供機能 2019/01/18 入力系 Sharing（体験共有） 空間制御系 支援系 UX/ユーティリティ
- 12. 2.Mixed Reality Toolkit – vNEXT 2.1.コンセプト 2019/01/18
- 13. 2. Mixed Reality Toolkit – vNEXT 2.1.コンセプト 2019/01/18 XRデバイスをターゲットとするアプリケーションの開発を加速することを目的としたスクリプトお よびコンポーネント群。 元のMixed Reality Toolkitで培ったノウハウを元に、リファクタリング/再構築を実施。 1. 複数のVR / AR / XRプラットフォームで動作するソリューションを構築 2. ラピッドプロトタイピングを可能にし、より使いやすいSDKを提供 3. ライブラリの柔軟性を高めてデバイス追加や機能変更/拡張を容易に
- 14. 2. Mixed Reality Toolkit – vNEXT 2.1.コンセプト 2019/01/18 複数のVR / AR / XRプラットフォームで動作するソリューションを構築 Microsoft HoloLens Microsoft Immersive headsets (IHMD) Steam VR (HTC Vive / Oculus Rift) OpenXR platforms Magic Leap One ※やろうとしてるが正しいかも（試験的）
- 15. 2. Mixed Reality Toolkit – vNEXT 2.1.コンセプト 2019/01/18 ラピッドプロトタイピングを可能にし、より使いやすいSDKを提供 1. Unityでプロジェクトをつくる 2. MRTKをセット 3. Boundary等の移動に関する設定 4. オブジェクトを配置/オブジェクトにアニメーション等設定 5. アクション(スピーチ/ジェスチャー/フォーカス/コントローラを 制御)を追加
- 16. 2. Mixed Reality Toolkit – vNEXT 2.1.コンセプト 2019/01/18 ライブラリの柔軟性を高めてデバイス追加や機能変更/拡張を容易に 既存機能変更のための柔軟なアーキテクチャを採用 ※後で解説
- 18. 2. Mixed Reality Toolkit – vNEXT 2.2.ここで脱線 – MRTK vs MRTK-vNEXT 項目 MRTK MRTK-vNEXT MRTK最新バージョン 2017.4.3.0 2018.9.0Beta Unityバージョン 2017.4.X .NET / IL2CPP 2018.2.14f1 IL2CPPのみ Visual Studioバージョン 2017 2017 UWPベース .NET/C++ C++ 2019/01/18 Unityが2018.X系になったため、C#のUWPプロジェクトは使えません。 C++のUWPになります。 人によってはUWPでごにょるのが難しくなるかも？
- 19. 2. Mixed Reality Toolkit – vNEXT 2.2.ここで脱線 – MRTK-vNEXTへの移行 2019/01/18 MRTK→MRTK-vNEXTへの移行は あきらめる アーキテクチャがそもそも違うのでほぼ作り直しです。 2017.4系のLTSがあるので理由がないならそのままで運用
- 20. 2.Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ 2019/01/18
- 21. 2. Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ ポイントになりそうなもの 抽象化された層とアダプタ層構造で柔軟性と拡張性を持っている 抽象化された層 アダプタ層 2019/01/18
- 22. 2.Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ MRTK User Abstraction Layer 【開発時に使用するレイヤー】 コンポーネント/スクリプトで構成 SDKとして別構成 SDKを独自に拡張/追加できる柔軟な構造 2019/01/18
- 23. 2.Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ MRTK Interface Layer 【上下レイヤーとのブリッジを行う】 以下の情報を抽象化し上下層とのブリッジを行う層 各デバイスの入力に関する情報 フィードバック（触覚やリアクション的なもの） この層については既存の抽象化されたセットに加えて追加も可能な気が。 2019/01/18
- 24. 2.Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ MRTK Constructs 【各デバイスと抽象化したシステムをつなぐレイヤー】 「Device Abstraction Layer」と 「MRTK User Abstraction layer」をつなげるためのルール定義を行う。 この層でSDKと実行するデバイスのSDKを紐づけて動かす。 2019/01/18
- 25. 2.Mixed Reality Toolkit – vNEXT 2.3.アーキテクチャ Device Abstraction Layer 【各XRデバイス準拠のSDKをブリッジするレイヤー】 MRTKの構造に準拠できるようにベンダーのSDKをMRTK側から呼べるアダプタとしての機能を提供 この層の部品を実装する際には各VRベンダー提供のSDKを使用 ※ここは今ないものを追加できる感じがする。 例:PC+Kinectなデバイスみたいな。 2019/01/18
- 26. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） フォルダ構成などからわかる機能 Audio →音声制御 Diagnostics →ログ/診断情報の制御 Input →入力制御 SpatialAwareness →空間認識 Utilities UX 2019/01/18 MRTKでは以下の提供方法を検討している CPU,メモリ、フレームレートなどの診断情報管理 必要に応じて描画するなどの機能 ログ診断系機能
- 27. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） フォルダ構成などからわかる機能 Audio →音声制御 Diagnostics →ログ/診断情報の制御 Input →入力制御 SpatialAwareness →空間認識 Utilities UX 2019/01/18 MRTKでは以下の提供方法を検討している Physics →演算系の機能 例：両手操作による、移動、回転、リサイズ MRTKのTwoHandManipulate WebRequestRest →REST APIでCRUDを投げるためのヘルパー (URL、Json文字列、メソッドでWebRequest) WindowsDevicePortal →Devicce Portal REST API ユーティリティ機能
- 28. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） 将来導入されるかも機能 ※まだメインブランチにマージ未 BoundingBox Interractable PackageManager MRTK Sharing Photon Sharing WebRtc Sharing State Sharing Example 01～03 2019/01/18 MRTKでは以下の提供方法を検討している GitHubからUnity Assetとしてダウンロード →従来の提供方法 Unity NuGet での提供(Coming soon) Unity Package Managerでの提供(Coming soon) Unity Asset Storeからの提供(Coming soon) GitHubのSubmoduleでの利用(上級者向け） →カスタマイズ前提の場合 MRTKの提供についての機能
- 29. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） 将来導入されるかも機能 ※まだメインブランチにマージ未 BoundingBox Interractable PackageManager MRTK Sharing Photon Sharing WebRtc Sharing State Sharing Example 01～03 2019/01/18 残念なUNETに代わり。。。 MRTK Sharing →MRTKで提供されるSharing（例のサーバを立てるあれ） Photon Sharing → マルチプレイヤープラットフォームPhotonをベース (https://www.photonengine.com/ja-JP/Photon) Webrtc Sharing →Webrtc版のSharing? State Sharing →？？？ みんな大好きSharing
- 30. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） 将来導入されるかも機能 ※まだメインブランチにマージ未 BoundingBox Interractable PackageManager MRTK Sharing Photon Sharing WebRtc Sharing State Sharing Example 01～03 2019/01/18 文字通りのMRTKを使った例 現状以下のブランチで3つ用意されるらしい （現状細かい機能は実装されていない） サンプルのような例
- 31. 2.Mixed Reality Toolkit – vNEXT 2.4.提供機能（たぶん） • Example 01～03は面白い 2019/01/18
- 33. 3.開発について 3.1.環境 項目 MRTK-vNEXT MRTKバージョン 2018.9.0Beta Unityバージョン 2018.2.14f1 .NET 4 Equivalent IL2CPPのみ Visual Studio 2017 UWPベース言語 C++ 2019/01/18
- 37. 3.開発について 3.2.手順(基本) 2019/01/18 まずはGettingStarted見ると早い https://github.com/Microsoft/MixedRealityToolkit- Unity/blob/mrtk_development/Documentation/GettingStartedWithTheMRTK.md 1. 新しいプロジェクトを作成する 2. MRTKをインポートする(MixedRealityToolkit-Unity-2018.9.0-Beta.unitypackage) 3. プロファイルを設定する 4. アプリを実装する 5. Unityでビルド 6. Visual Studio でビルド & デプロイ 7. (ﾟдﾟ)ｳﾏｰ
- 38. 3.開発について 3.2.手順(基本) – MRTKインポートまで 2019/01/18 MRTKインポートすると・・・ XRセッティング有効にするよ？ IL2CPP使うように設定するよ？ ※今はXRセッティング有効にならんですよ。 メニューに「Mixed Reality Toolkit」が出てきたらまずはOK
- 39. 3.開発について 3.2.手順(基本) – プロファイル設定 2019/01/18 プロファイルはメニューから 「Mixed Reality Toolkit」-「Configure…」を選択 これだけ超簡単！ 自動で追加
- 40. 3.開発について 3.2.手順(基本) – AirTapで自由落下する豆腐を作る 2019/01/18 いつものように豆腐を作る Rigidbodyは「use Gravity」をオフで追加 WinMRで動かす場合はPositionのY軸を1.7くらいに （視点の位置調整機能がまだない）
- 41. 3.開発について 3.2.手順(基本) – AirTapで自由落下する豆腐を作る 2019/01/18 適当なスクリプトをつくる 今回は「TapFreefall」で作った 作ったものはCubeにぺた
- 42. public class TapFreeFall : MonoBehaviour { private Rigidbody _rigidbody; // Use this for initialization void Start () { _rigidbody = GetComponent<Rigidbody>(); } public void OnTaped() { _rigidbody.useGravity = true; } } 3.開発について 3.2.手順(基本) – AirTapで自由落下する豆腐を作る 2019/01/18 実装する StartメソッドでRigidbodyを取得 OnTapedメソッドを作って取得したRigidbodyの 「use Gravity」をオンに
- 43. 3.開発について 3.2.手順(基本) – ちなみにプロジェクト構成は・・・ 2019/01/18 ざっくり17個に分割 以下の2つが自作のコードの入ってるプロジェクト Assembly-CSharp Assembly-Csharp.Player https://qiita.com/miyaura/items/887348ddc3933b72ff05 プロジェクト構成などは過去整理したQiita記事があるので見てね
- 44. 3.開発について 3.2.手順(基本) – AirTapイベントの割り当て 2019/01/18 イベントの割当てはコンポーネント Tap系は「Pointer Click Handler」 Is Focus RequiredのチェックがないとGlobal Input Actionはこのイベントに反応するボタンを定義 （HoloLensのAirTap=コントローラのSelect） Unity Eevntに登録
- 49. 3.開発について 3.3.空間マッピング応用 2019/01/18 public class NaviMeshSpatialMeshHandler : MonoBehaviour, IMixedRealitySpatialAwarenessMeshHandler { private readonly Dictionary<int, uint> meshUpdateData = new Dictionary<int, uint>(); public virtual void OnMeshAdded(MixedRealitySpatialAwarenessEventData eventData) { // A new mesh has been added. if (!meshUpdateData.ContainsKey(eventData.Id)) { meshUpdateData.Add(eventData.Id, 0); eventData.GameObject.AddComponent<NavMeshSourceTag>(); } } NavMeshSourceTagを追加 空間マッピングでMeshが追加されたらMRTKから呼ばれる 空のGameObjectに追加するだけでイベント登録が可能
- 52. 3.開発について 3.4.各種設定パラメータ – 全体設定 2019/01/18 アプリケーションのスケール設定 体験の種類に応じて全体的な機能のON/OFF Orientation Only Seated Standing Room →部屋使用のためBoundaryが有効 World →歩きまわるので空間認識が有効 Boundaryは解除 Experience Settings
- 53. 3.開発について 3.4.各種設定パラメータ – 全体設定 2019/01/18 以下の3つ設定が可能（管理クラスがない設定もある） 機能の有効/無効 管理クラスの設定 各機能のパラメータ 全体設定では各機能の基本を定義 管理クラスはSDKの機能と紐づける。 ⇒自作の専用SDKの変更はここで行える。
- 54. 3.開発について 3.4.各種設定パラメータ – カメラ設定 2019/01/18 定番のカメラの初期設定 Camera Persistentはシーン切替え時にカメラ を使いまわす場合の制御に使用 没入型と透過型それぞれ設定 Qualityレベルもここで設定 カメラ設定
- 55. 3.開発について 3.4.各種設定パラメータ – 入力システムの設定 2019/01/18 ジェスチャー、モーションコントローラなどの制御設定 GazeカーソルのデザインなどはPointer Profile で定義する。 入力システムの設定
- 56. 3.開発について 3.4.各種設定パラメータ – Boundaryの描画設定 2019/01/18 WinMRなどのVRデバイスで使う設定 境界面（プレイエリア等）や床のマテリアルを設定 それぞれの要素毎にレイの透過などの設定も可能 Boundaryの描画設定
- 57. 3.開発について 3.4.各種設定パラメータ – Spatial Awarenessの設定 2019/01/18 空間認識の機能 基本的にはTarget Scaleが「World」の時有効 以前のSpatial Mappingの設定とほぼ同じ Mesh Settingsがワイヤーフレームなどの描画 Surface Finding Settingsは今は動かない？ 実装がまだ入っていない模様 Spatial Awarenessの設定
- 58. 3.開発について 3.4.各種設定パラメータ – Diagnostic Visualizationの設定 2019/01/18 ログや診断情報の設定 General SettingのVisualをチェックすると CPU使用率などが画面上に描画される。 Diagnostic Visualizationの設定
- 59. 3.開発について 3.4.各種設定パラメータ – Registered Service Providerの設定 2019/01/18 Registered Service Providerの設定 MRTKに機能を新しいシステムや機能を追加する 際に使用 管理クラスを登録すると、内部でManagerのインス タンス化が実施されMRTK経由でアクセスできる 内部はActivatorを使った動的生成なので追加で きるからと言ってたくさん入れるとパフォーマンスには 影響でそう。
- 60. 4.まとめ 2019/01/18