SlideShare a Scribd company logo
MRTKをNreal Lightに
対応させてみた
AR Fukuoka暑気払いLT会2021
自己紹介
氏名:吉永崇(Takashi Yoshinaga)
所属:スチームパンクデジタル / ISIT
仕事:AR技術の活用に関するR&D
コミュニティ:ARコンテンツ作成勉強会
Twitter: #AR_Fukuoka
What’s Nreal Light?
Nreal Ltd.が開発したARグラス
[特徴]
 軽量 (約106g)
 6DOF (自由に歩き回れる)
 平面やマーカーの検出
 比較的安価 (¥129,500)
さらに
 ついにハンドトラッキングに対応
Hand Trackingデモ
https://youtu.be/QH6aPDONO5s
Hand Tracking の特徴
手の関節の取得や位置追跡
Hand Tracking の特徴
ジェスチャー認識
 手の開閉
 ポインティング(指差し)
 Vサイン
 ピンチ (つまみ)
簡単にこれらの情報をプログラムで
取得できる!
問題点
手の位置やジェスチャー認識を使ったインタラクションは
自分で実装しなくてはいけない
問題点
オブジェクトの回転や拡大縮小などARグラスで
一般的に使われる操作は楽に実現したいよね?
Related Tool: MRTK
Microsoftが提供するHoloLens向け開発キット。Oculus Questや
Magic Leap, スマートフォンなど各種XR機器に対応
MRTKの良い所
ノンプログラミングで基本的なインタラクションを実現できる!
共通の仕組みで各種XRデバイス向けアプリを開発!
Nreal Lightには未対応
ということで
MRTKをNreal Lightに対応させよう
でも...
MRTKよくわからん
Dive Into MRTK: Step 1
各デバイス用の設定の切り替えはMixedRealityToolkitでできたたはず
MixedRealityToolkit
ここで設定
Dive Into MRTK: Step 2
ヒントがあるかもしれないのでドロップダウンメニューを開いてみよう
設定リスト
Dive Into MRTK: Step 2
LeapMotion用の設定もある
Dive Into MRTK: Step 3
DefaultLeapMotionConfigurationProfile
の中身を理解すればNreal Lightのハンドトラッキングと
MRTKを接続できるのでは?
Dive Into MRTK: Step 4
関係ありそうなのはInput?
Dive Into MRTK: Step 4
Leap Motion Device Manager
Dive Into MRTK: Step 5
Leap Motion Device Manager
の実装はこのスクリプト
Dive Into MRTK: Step 5
Leap Motion SDKが
提供する機能を使っている
(LeapMotionDeviceManager.cs)
Dive Into MRTK: Step 5
MRTK⇄LeapMotion
の変換も行われている
(LeapMotionArticulatedHand.cs)
Dive Into MRTK: Step 6
Leap Motionの手の情報の取得とMRTKの手へのマッピングを
行なう処理をNreal Lightの情報に置き換えたコードを作成
Result
https://youtu.be/26hBZX-cqiE
Now Available on GitHub
https://github.com/TakashiYoshinaga/MRTK-Profiles-for-NrealLight

More Related Content

PDF
PDF
猫でも分かるUE4のポストプロセスを使った演出・絵作り
PDF
バイキング流UE4活用術 ~BPとお別れするまでの18ヶ月~
PDF
UE4 コリジョン検証 -HitとOverlapイベントが発生する条件について-
PDF
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
PPTX
Photon Fusionのはじめの一歩
PPTX
Nreal Lightハンズオン
猫でも分かるUE4のポストプロセスを使った演出・絵作り
バイキング流UE4活用術 ~BPとお別れするまでの18ヶ月~
UE4 コリジョン検証 -HitとOverlapイベントが発生する条件について-
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
Photon Fusionのはじめの一歩
Nreal Lightハンズオン

What's hot (20)

PDF
UE4勉強会 in 大阪 - もっとアニメーションBP
PDF
Game Creators Conference 2019 Keiji Kikuchi
PDF
はじめようARCore:自己位置推定・平面検出・FaceTracking
PDF
UE4 Volumetric Fogで 空間を演出する!
PDF
猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021
PDF
UE4でAIとビヘイビアツリーと-基礎-
PPTX
HoloLens2とMeta QuestではじめるWebXR
PDF
かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた!
PDF
Epic Online Services でできること
PDF
UE4で作成するUIと最適化手法
PDF
UE4のシーケンサーをもっともっと使いこなそう!最新情報・Tipsをご紹介!
PPTX
UE4のスレッドの流れと Input Latency改善の仕組み
PDF
【Unity】 Behavior TreeでAIを作る
PDF
猫でも分かるUE4.22から入ったSubsystem
PDF
猫でも分かる UE4の新しいサンプル「Action RPG」について
PPTX
OpenVRやOpenXRの基本的なことを調べてみた
PPTX
HoloLens2とPCで、WebRTCで映像をやりとり
PPTX
【準備編!】HoloLens 2/Oculus Quest対応WebXRハンズオン
PDF
UE4とBlenderでランニングコストを抑えるモダンなワークフロー
PDF
UE4でマルチプレイヤーゲームを作ろう
UE4勉強会 in 大阪 - もっとアニメーションBP
Game Creators Conference 2019 Keiji Kikuchi
はじめようARCore:自己位置推定・平面検出・FaceTracking
UE4 Volumetric Fogで 空間を演出する!
猫でも分かるUE4を使った VRコンテンツ開発 超入門編 2021
UE4でAIとビヘイビアツリーと-基礎-
HoloLens2とMeta QuestではじめるWebXR
かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた!
Epic Online Services でできること
UE4で作成するUIと最適化手法
UE4のシーケンサーをもっともっと使いこなそう!最新情報・Tipsをご紹介!
UE4のスレッドの流れと Input Latency改善の仕組み
【Unity】 Behavior TreeでAIを作る
猫でも分かるUE4.22から入ったSubsystem
猫でも分かる UE4の新しいサンプル「Action RPG」について
OpenVRやOpenXRの基本的なことを調べてみた
HoloLens2とPCで、WebRTCで映像をやりとり
【準備編!】HoloLens 2/Oculus Quest対応WebXRハンズオン
UE4とBlenderでランニングコストを抑えるモダンなワークフロー
UE4でマルチプレイヤーゲームを作ろう
Ad

Similar to MRTKをNreal Lightに対応させてみた (15)

PPTX
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
PPTX
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
PPTX
Mixed Reality Toolkit V2 RC1を少し読みといてみた~HoloLens 2機能中心に~
PPTX
「次の」MRTKがもたらす素敵世界(導入編)
PPTX
Mixed Reality Toolkit 3 Recap
PPTX
「Mixed Reality Toolkit V2 UX Building Block」から読み解くMixed RealityのUXデザインの勘所とマルチ...
PPTX
xRLT vol.3 HoloMon LT
PPTX
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
PPTX
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
PPTX
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
PDF
デブサミ2013応募用スライド
PDF
GCS2014 TMCN
PPTX
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
PPTX
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
PDF
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
Unreal Engine でアプリ開発~ MRTK UXTools for Unreal V0.9.0 ~
Mixed Reality Toolkit V2 RC1を少し読みといてみた~HoloLens 2機能中心に~
「次の」MRTKがもたらす素敵世界(導入編)
Mixed Reality Toolkit 3 Recap
「Mixed Reality Toolkit V2 UX Building Block」から読み解くMixed RealityのUXデザインの勘所とマルチ...
xRLT vol.3 HoloMon LT
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介
Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ
デブサミ2013応募用スライド
GCS2014 TMCN
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
XRマルチデバイス開発を可能にするOSSライブラリ「MRTK-vNEXT」について
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
Ad

More from Takashi Yoshinaga (20)

PPTX
【準備編】OculusQuest/HoloLens2対応WebXR開発
PPTX
ARコンテンツ作成勉強会( #AR_Fukuoka )紹介
PPTX
AI x WebAR: MediaPipeのハンドトラッキングを使ってみよう
PPTX
iPad LiDARで エンジニアカフェを3Dスキャン
PPTX
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
PPTX
Web技術ではじめようAR/VRアプリ開発
PPTX
A-Frameで始めるWebXRとハンドトラッキング (HoloLens2/Oculus Quest対応)
PPTX
Holo-SDKハンズオン:はじめようヘッドトラッキングを用いた3D表現
PPTX
FUKUOKA Engineers Day 2021 発表資料:AR Fukuoka & HoloBox紹介
PPTX
Voxon Photonics VX1 で遊んでみた
PPTX
AR-Frame x AR.js入門
PPTX
AI x WebXR: フェイストラッキングを用いた擬似3D表現を解説!
PPTX
コロナ禍中のコミュニティ活動
PPTX
Project HoloBox
PPTX
AR Fukuoka紹介2020
PPTX
iPad LiDARで作ってみた in AR Fukuoka 忘年会2020
PPTX
OSC2020 Fukuoka: インストールいらず、WebAR入門
PPTX
Oculus Quest 1&2 開発のはじめの一歩 with A-Frame WebVR
PPTX
AI x WebAR MediaPipeの顔認識を使ってみよう! in 織りなすラボ
PPTX
Spatial Copy & Paste @HoloLensゆるっとLT会
【準備編】OculusQuest/HoloLens2対応WebXR開発
ARコンテンツ作成勉強会( #AR_Fukuoka )紹介
AI x WebAR: MediaPipeのハンドトラッキングを使ってみよう
iPad LiDARで エンジニアカフェを3Dスキャン
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
Web技術ではじめようAR/VRアプリ開発
A-Frameで始めるWebXRとハンドトラッキング (HoloLens2/Oculus Quest対応)
Holo-SDKハンズオン:はじめようヘッドトラッキングを用いた3D表現
FUKUOKA Engineers Day 2021 発表資料:AR Fukuoka & HoloBox紹介
Voxon Photonics VX1 で遊んでみた
AR-Frame x AR.js入門
AI x WebXR: フェイストラッキングを用いた擬似3D表現を解説!
コロナ禍中のコミュニティ活動
Project HoloBox
AR Fukuoka紹介2020
iPad LiDARで作ってみた in AR Fukuoka 忘年会2020
OSC2020 Fukuoka: インストールいらず、WebAR入門
Oculus Quest 1&2 開発のはじめの一歩 with A-Frame WebVR
AI x WebAR MediaPipeの顔認識を使ってみよう! in 織りなすラボ
Spatial Copy & Paste @HoloLensゆるっとLT会

MRTKをNreal Lightに対応させてみた