ITフォーラム2020 AITC(3)

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空気を読む家 6th シナリオ
『人を見守る安心安全な空気を読む家』
LookingGlassで空間のAR
2020年2月7日
先端IT活用推進コンソーシアム
ビジネスAR研究部会リーダー
TIS株式会社井出将弘

本日のアジェンダ
ビジネスAR部会の取り組み
まとめ、今後に向けて

ビジネスAR部会について
3
• 活動目的：
最先端のAR技術の把握と習得、及び今後の社会やビジネスの変
化を踏まえたARの活用（ビジネスAR）について、研究することを活
動目的とする。さらに活動成果を発信していく。
• 活動内容：
１）ビジネスARを創出、普及・展開するための考察・議論・グルー
プ活動
２） AR技術への理解を深めるためのプロトタイプ開発・試行実験
３）上記活動を成果物としてまとめ、外部発信の活性化

ビジネスAR部会の考えるAR
4
• 人間の感覚をITで拡張すること
• 日本語では、「拡張現実感」、または「拡張
現実」
視聴
触
味
嗅
α
バランス感覚、認知など
空間に情報
を付与
少しの動作
で物体を
操作
雑音をoff、
必要な音の
Volume up
危険な場
所・物体か
ら
悪臭

Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5
自動化と自在化
5
・人間代替
―やりたくないこと
―危険作業
―高負荷作業
・肉体・精神
―繰り返し作業
―高信頼作業
・人間拡張
―やりたいこと
―表現・創造
・クリエイティブクラス
―娯楽・余暇
―コミュニケーション
―承認・奉仕
引用：稲見先生
自動化自在化

AJ（Automated Judgement）とAH（Augmented
Human）
• AJは「判断も機械・ソフトが行う。」といった方式
– いわゆる「自動化」
– 自動判断の精度を高めるためには、フィジカルのあら
ゆる事物を細かくデジタル化する必要がある
CPS、デジタルツイン
• AHは「判断は人間が行う。機械・ソフトは人間
能力の拡張に徹する。」といった方式
– 稲見先生のいう「自在化」
– フィジカルのあらゆる事物を予め全てデジタル化する
必要はないが、局所的なサポートのためのセンシン
グ・計算・フィードバックは一瞬で行う必要がある
リアルタイム、インタラクション
6

空間OSを中心としたインタラクション(空間のAR)-1
7
• フィジカルのインタラクションをサイバー側
で制御
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間

8
①フィジカルの事物をサイバーに写像
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間

9
②サイバー側で事物間のインタラクションを
発動
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間

10
③フィジカルにインタラクションをフィード
バック
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間

今回の実装イメージ
• 離れた家と空間的につながっている感を出したい
– リアルタイム
– 3次元で没入感、存在感がある
– インタラクティブ
– アプローチャビリティ
→箱庭空間、箱庭インターフェース
12

実装すること
• 箱庭空間の表現
• 箱庭空間を操作して物理空間を操作する
• 空間OSとの通信
• OpenPoseの骨格データからアバターをアニメー
ションさせる
• サーモ画像のデータから室温表現
13

箱庭空間の表現（デバイス選定）
• 案１：VRHMD(例：Oculus Quest)
→ 没入感はよいが、アプローチャビリティが悪い。
• 案２：MRHMD(例： HoloLens)
→ 常時着用というユースケースはまだ困難
• 案３：物理的な３Dモデル＋プロジェクションマッピング
→現実的ではない
• 案４：裸眼立体視ディスプレイ(LookingGlass)
→アプローチャビリティ◎。没入感もある。箱庭感。
14

Looking Glassについて
• Looking Glassとは
Looking Glass Factory社が製造、販売している裸眼立体視ディスプレイ。
2018年7月から発売開始。スタンダード（8.9インチ）とラージ（15.6インチ）の2
機種とPCを内蔵したオールインワンモデルの「Looking Glass Pro」が発売されて
います。11月に開催されたデジタルコンテンツエキスポでは最新モデルの32インチ
ディスプレイ「Looking Glass 8K Immersive Display」が発表されました。
• 特徴
– 比較的安価(スタンダードで600ドル、ラージで3000ドル)
– PCにHDMIとUSBで接続するだけでディスプレイとして認識
– UnityのSDKがあり、裸眼立体視の知識がなくても開発可能
15上記画像はLooking Glass Factory社より提供

箱庭空間作成
16
• 今回は簡単なデモのため、Unityのシーンに無料の
家具アセットを配置
• LookingGlassのSDKにあるHoloplay Capture
のプレハブを配置するだけでLookingGlass用の
多視点映像が表示される
Unityのシーン緑の枠が箱庭空間 LookingGlass用映像

箱庭空間を操作して物理空間を操作する
• 操作デバイス
– LookingGlassと相性のよいハンドジェスチャセンサー
のLeapMotionで実装
• LeapMotionのメリット、デメリット
– メリット
• 何も持ったり装着しなくてよい
• 手の動作で3次元空間を直感的に操作できる
– デメリット
• センサーの挙動を理解するまで慣れが必要
• マウス、キーボードに比べると決定動作は不安定
17

LeapMotionを使ったインタラクション
• 今回は箱庭空間のライトを点灯すると現実のラ
イトが点灯するというデモを実装
• 箱庭空間での表現はスタンドライトに手を触れる
ことで照明のオンオフを実現。箱庭空間の照明
の状態を変更するとともに空間OSに照明の状
態を通知
18
緑の球状の枠が当たり判定触れると光る

システム構成
• ハードウェア：
– Looking Glass
– ゲーミングノート(RTX2070)
– LeapMotion
19
空間OS
Unity

空間OSとの通信
• UnityでWebSocket通信
– Unity自体にはWebSocket通信に関する機能がない
→C#で使えるwebsocket-sharpを採用
• JSONのデータ変換
– Unity標準のJsonUtilityは事前のクラス定義が必要なため、
空間OSから受信したJSONのパースにUtf8Jsonを採用
• UniRxでのイベント化
– パース後のデータはUniRxでイベント化し、イベントを
Subscribeしているクラスに通知。
– ※重要※ WebSocketの受信処理はメインスレッドとは別ス
レッドで実行されるため、イベントを受信したクラス内でUnityの
APIを使用する場合はSynchronizationContextでメインス
レッドに戻す。
20

OpenPoseの骨格データからアバターをアニメーション－１
• OpenPoseの骨格データからUnityで2D描画
25点の骨格データの座標(x,yが0~1のデータ)にUnityのUICanvasの解像度を
乗算し、UI座標に変換。座標を元にOpenPose Unity Pluginで2D描画
• 2D描画→3D座標変換
RectTransformUtilityでUI座標→ 3D座標に変換
21
//UI座標からスクリーン座標に変換
Vector2 screenPos = RectTransformUtility.WorldToScreenPoint(_canvas.worldCamera, rectTransform.position);
//ワールド座標
Vector3 result = Vector3.zero;
//スクリーン座標→ワールド座標に変換
RectTransformUtility.ScreenPointToWorldPointInRectangle(rectTransform, screenPos, _canvas.worldCamera, out result);
2D描画
白い四角が3次元上の座標

OpenPoseの骨格データからアバターをアニメーション－２
• 3D座標→アバターアニメーション
→FinalIKでアバター制御。頭、手、足をターゲットとし
て設定
→アバターはUnity-Chanを使用
※FinalIKは最近流行しているVtuberのアバター制御
によく使用されているアセット
22
https://assetstore.unity.com/packages/tools/animation/final-ik-14290

OpenPoseの骨格データからアバターをアニメーション－３
• 結果
23

OpenPoseの骨格データからアバターをアニメーション－４
• 評価
– 足のIKターゲットが逆になることがある
– 手を頭の上で振っていることはわかる
– 屈伸したということもわかる
→2Dの推定でもある程度3Dキャラクターを操作できる
→3D推定等でより自然な動きに改善は可能
24

プライバシーに配慮したアニメーション
• 前述のとおり、2Dの骨格推定である程度の行動
がわかってしまうため、プライバシーに配慮した立
位、臥位の2パターンのアニメーションを行うモード
も実装
25

サーモ画像のデータから室温表現
• サーモ画像のデータからは平均の温度を取得で
きるため、それを用いて照明の色を変更
26
温
暖熱
寒涼

ソフトウェア構成
27
Unity
3Dゲームエンジン
HoloPlaySDｋ
LookingGlass対応
websocket-sharp
WebSocket通信
openpose_unity_plugin
OpenPose描画
Leap Motion Core
LeapMotion対応
UniRx
Unity用リアクティブプログラミング拡張
FinalIK
アバター制御
Utf8Json
Json変換

今後にむけて
• 次回は空間への没入とインタラクション=HMDを
使ったユースケースにチャレンジしたい
• コンテクスト、リアルタイムで価値あるARを
– 空間OSの価値の可視化をより深耕
• よりアンビエントな感覚拡張
– ウェアラブル
– インプランタブル
– インビジブル
28

まとめ
• 空間OSを介したリアルタイムセンシングデータの可
視化
• 箱庭インターフェースと直感的な操作でフィジカルス
ペースを変更
• 空間のARの第一歩
これからも空間OSを中心としてワクワクする拡張現
実の未来を議論、実装していきます！
29

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター

ITフォーラム2020 AITC(3)

More Related Content

What's hot (20)

Similar to ITフォーラム2020 AITC(3) (20)

More from aitc_jp (20)

ITフォーラム2020 AITC(3)