PUN2 × OculusQuest でハンドトラッキング同期実装(プロジェクト公開しました)

PUN2 × OculusQuest で
ハンドトラッキング同期実装
(プロジェクト公開しました)

登壇者：KENTO
Twitter : @okprogramming
仕事 : XR関連のR＆D
Twitter : @Up_frontier
Twitter : @gaprot_jp

なぜ話すのか
大変だったので同じ苦労する人が
一人でも減りますように

サンプル
サンプルプロジェクト
https://github.com/ForJobOk/OculusHandSync
Apk(2人プレイ)
https://github.com/ForJobOk/OculusHandSync/releases/tag/ForPublish

①お互いのクライアントに手のメッシュを生成
②手の座標を送り合う
③送られてきた座標データで
相手クライアント側の手を動かす
ハンドトラッキングの同期
見た目データ

通常のハンドトラッキング実装に必要なPrefab

手のデータ

手の見た目

手のボーン

ハンドトラッキング同期実装の準備
自クライアントの手を動かすためだけの情報。
この情報を自クライアントの自身のアバター、
及び相手クライアント側の自身のアバターに反映させる。

アバターの手のメッシュを生成。OVR Meshをそのまま利用。

PlayerSyncが自クライアントの手のメッシュにボーン情報を渡して動かす。
相手クライアントとボーン情報を送り合う。
受け取ったボーン情報で相手クライアントの手のメッシュを動かす。

Tips
・プレイヤー入室時の場所をカスタムプロパティで設定
・カメラリグ配下のカメラを任意の方向、座標に移動

プレイヤー入室時の場所を
カスタムプロパティで設定
入退室が自由のルームでの
プレイヤー生成位置はどうするか
→プレイヤーにカスタムプロパティで番号を与える
※ActorNumberは再入室するたびに値が加算される

座標
カメラはユーザーのHMDの動きに追従するため、直接座標は動かせない。
カメラリグを移動させるだけでは求める位置への移動は不可。
カメラリグ
カメラ
例）カメラをA地点に移動させたい

回転
カメラはユーザーのHMDの動きに追従するため、直接回転させることはできない。
カメラリグを回転させるだけでは求める向きへの回転は不可。
カメラリグ
カメラ
例）カメラをA地点に向けたい

ここまでの内容をまとめた記事
【Unity(C#),PUN2】OculusQuestのハンドトラッキング同期実装
https://qiita.com/OKsaiyowa/items/80fb857a285ee4aed95c
【Unity(C#),PUN2】ルームの入退室に対応したプレイヤー生成位置、色の振り分け
https://qiita.com/OKsaiyowa/items/118be61ddaa175aae3e6
【Unity(C#)】VRカメラを任意のポジションに移動する方法
https://qiita.com/OKsaiyowa/items/47e06cf62498ef3abe9e

リンク
PUN2で始めるUnityオンラインゲーム開発入門
https://zenn.dev/o8que/books/bdcb9af27bdd7d
アップフロンティア株式会社 note
https://note.com/upfrontier

PUN2 × OculusQuest でハンドトラッキング同期実装(プロジェクト公開しました)

More Related Content

Similar to PUN2 × OculusQuest でハンドトラッキング同期実装(プロジェクト公開しました) (20)

PUN2 × OculusQuest でハンドトラッキング同期実装(プロジェクト公開しました)