Mixed Reality Toolkit V2から読み解くHoloLens 2の機能～北海道編～

Mixed Reality Toolkit V2から
読み解くHoloLens 2の機能
～北海道編～
Miyaura – 大阪駆動開発
2019/05/25

こんな人が話します
Miyaura Takahiro
◦Twitter @takabrz1
◦ 某会社でSEしています。
◦ HoloLensを中心としたXR技術を探求
◦ Microsoft MVP for Windows Development(2018-2019)
◦ カテゴリ：Mixed Reality
◦ https://qiita.com/miyauraでMixed Reality開発Tips公開中！
2019/5/25 Copyright © 2018 Takahiro Miyaura

ということで、
Mixed Reality Toolkit V2を通してHoloLens 2
の特徴的な要素と良いところはなにか？を
個人的に主観で紹介

Mixed Reality Toolkit V2
機能一覧から読み解く
 Input System
 Articulated Hands + Gestures (HoloLens 2) → ハンドトラッキング＋ジェスチャー
 Eye Tracking (HoloLens 2) → アイトラッキング
 Voice Commanding
 Gaze + Select (HoloLens)
 Controller Visualization
 Teleportation
 UI Controls
 Solver and Interactions
 Spatial Understanding
 Diagnostic Tool

Articulated Hands + Gestures (HoloLens 2)

2019/5/25
Articulated＝関節式
HoloLens 2は全指トラッキング方式
Finger Tip＝指先（人差し指）
Joints = 関節部
Palm = 手のひら
これらの情報はすべてPosition,Rotateをトラッキング中に取得できる。
Copyright © 2018 Takahiro Miyaura

2019/5/25
Finger Tipはポイント
全指トラッキングなので
ボタンを押すといったジェスチャーでいろんな指
が当たると誤動作を招く
人差し指だけ特別扱い

2019/5/25
ジェスチャー
 人差し指でものを押す
 手でつまむ→はなす動作（以前のエアタップ)
 手をつかんだままの状態（以前のホールド）
 ホールド状態で手を動かす（Manipulate）
 ジェスチャーのない状態でセンサー上で手を認識し
ている状態(Navigate)

2019/5/25
Unityデバッグで試せます。

Eye Tracking (HoloLens 2)

Eye Tracking (HoloLens 2)
2019/5/25
 右目だけ
 左目だけ
 両目
デバック上はGazeとして扱われている。
右目/左目の違いは視線のスタート位置が変わる。
（なんだと思います）
左目だけとか右目だけでは利用できない。
両目の焦点がポイントになる。

まずは特徴的な２つを紹介しました。
で、何がいいのか？
全指トラッキングスゲー！
アイトラッキング素敵！
機能面ではそうなんですが・・・

以前(HoloLens)に比べてより自然なUIができる
自然なUI
普段の生活の中で行っている操作や判断で扱える
（ボタンがあったら押してみたくなる、他よりも明るいところに目が行くetc…）
＝HoloLens 2だけでは無理でMRTK V2と合わせて初めて効果が！

MRTK V2でそのあたりを見てみましょう

オブジェクトの操作はしなりで雰囲気を伝える
間違った操作はポインターがより”しなる”ので感覚的におかしいと気付ける

光の表現でフォーカスや操作をわかりやすく

押せるボタンも用意されています。

そして
センスのいいアプリを作るための部品等

Interactableなオブジェクトも簡単に

注釈のためのTooltip

ラインの表現もおてのもの

便利なMaterial

High SenseなSharder

変わったところでは
ハンドトラックのトレースサンプルも

HoloLens 2とそのためのUI開発に
Mixed Reality Toolkit V2は有効だと思いますよ

今MTRK V2系で整理しているもの
2019/5/25
 MRTK V2の解説や基本的な使い方
 「XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について」
 https://www.slideshare.net/TakahiroMiyaura/xrossmrtkvnext
 Qiita系
 Mixed Realirt Toolkit V2 RC1を読み解く（概要編）
 https://qiita.com/miyaura/items/dfd461fd9900be69f2e5
 Mixed Reality Toolkit - V2 から読み解くHoloLens 2の機能（ハンドトラッキング編）
 https://qiita.com/miyaura/items/d308558a49249c110a01

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

Mixed Reality Toolkit V2から読み解くHoloLens 2の機能～北海道編～

More Related Content

What's hot (20)

Similar to Mixed Reality Toolkit V2から読み解くHoloLens 2の機能～北海道編～ (20)

More from Takahiro Miyaura (18)

Mixed Reality Toolkit V2から読み解くHoloLens 2の機能～北海道編～