Mixed Realityを活用したIot Edgeの管理と情報の可視化による「Digital Twins」の実現

takabrz1 大阪駆動開発 Takahiro Miyaura
Mixed Realityを活用したIoT Edgeの管理と
情報可視化による「Digital Twins」の実現

「Digital Twins」と関連する技術

Digital Twinsとは
Copyright © 2020 Takahiro Miyaura 3
現実空間内の分析対象
デジタル情報としての写像
例：配信時の機器情報を可視化し改善する
【従来】
 対象をモデル化
 仮想化したモデルパラメータを変更
 状態を分析
実データを活用してより精度の高いシミュレーションを実現
機器や外部セン
サーでデータ収集
稼働時間XX分
切替A→B
NG
稼働時間XX分
Temp – 40℃
正常
稼働時間XX分
Temp – 40℃
正常
稼働時間XX分
Temp – 40℃
正常
【デジタルツイン】
 対象をモデル化
 対象にセンサーなどを設置や取り付け
 実データを取得しモデルに情報を反映
 リアルタイムに状態を分析

今回対象とする活用方法
XR技術とDigital Twins
【Cloud】
センサー情報収集
分析
モデル投影
可視化・・・
可視化にはxR技術を活用 VR空間
【VR】
すべてをデジタル情報で再現
 俯瞰視点での確認
 現物確認が困難
(活用例)
• 管理センターでの業務
• 製品開発
現実空間
【AR/MR】
情報を現実空間に投影
 現地での確認
 現物確認が可能
(活用例)
• 機器メンテナンス
• 営業
現実空間

本日のテーマ
情報の可視化を現実空間で実施
機器メンテナンスを想定。対象機器特定/センサー情報を補助空間に出力
検証に利用した技術の紹介
デモと活用方法に関する考察
【Cloud】
分析
モデル投影
可視化・・・
現実空間現実空間

Mixed Realityを活用したIoT Edgeの管理と
情報可視化

概要
簡単なモデルケースを実際に構成
 現実空間内にセンサーを設置
 センサー情報をクラウドを活用してデータを収集
 収集データから作業指示などの情報を“センサー近傍で出力”
IoT Edgeデバイス Cloud（Azure）での管理 HoloLens 2での可視化
【Cloud】
分析
モデル投影
可視化・・・
現実空間
現実空間

Azureで実現できるDigital Twins
～提供サービスと役割～
引用元：「Microsoft Buile 2020:Microsoft IoT Vision and Roadmap」https://mybuild.microsoft.com/sessions/007295e3-c677-488c-b5df-6dad2a0f90cc,May 21 2020
Microsoft Build 2020で紹介されていたIoT戦略とロードマップ

～提供サービスと役割～
IoT Edgeデバイスの管理から可視化までをサポートするサービスの提供
センサー情報の分析
対象のモデル化と写像
対象モデルの可視化
分析データの現実空間への投影
IoT Edgeデバイスの管理
今回検証範囲

～参考アーキテクチャ～
Azure Architecture Center:「複合現実と IoT による設備管理の促進」
https://docs.microsoft.com/ja-jp/azure/architecture/solution-ideas/articles/facilities-management-powered-by-mixed-reality-and-iot?WT.mc_id=MR-MVP-5003104
このアーキテクチャをベースにサービスを構成
1
2
3
45
6
7
7
8
9

システム構成
空気環境情報をセンシングするデバイスを空間に設置
 Azure上で情報を管理（Azure IoT Hub,Azure DigitalTwins,CosmosDB)
 現実空間のセンサー位置をAzure Spatial Anchorsで管理
 必要な情報（対象センサー位置、センサー生データ等）の現実空間での可視化
Azure App
Service
Azure
Spatial Anchors
Cosmos DB Functions
Functions
Event GridAzure Digital Twins
IoT Hub
Client
Microsoft
HoloLens
Raspberry PI 4
(Enviro+ , CSS811)
詳細説明あり！
軽い説明軽い説明

DEMO
確認対象のセンサーの位置特定とメンテナンス
 Azure Spatial Anchorsによるセンサー位置の特定
 センサー/作業情報を取得し可視化
 メンテナンスの報告

IoT Edgeデバイス
Raspberry PI 4
 センサー情報
温度、湿度、気圧、照度、Co2濃度等
 Azure Iot HubとはNode.js用のライブラリを経
IoTHubのサンプルをほぼ流用
 iBeaconとしてBluetooth機能を利用
Azure Spatial Anchorsの利用で必要
IoT EdgeデバイスはRaspberry PI で簡易的に作成

Azure Digital Twins(Public Preview)
～分析対象をモデル化し写像を管理～
現実世界の情報をモデル化
モデル化したデータの写像を生成
ノードモデルとして管理
写像データの管理
CRUD
トリガー
今回は以下の機能を付与
 IoT Hubからの情報を反映
 変更をトリガーにCosmosDBを更新
情報はJson形式で記述

HoloLens 2での可視化
 Mixed Reality Toolkit V2.5.1を使用
（Package Manager経由）
 主な利用機能
 Button
 ProgressIndicator
 Elastic System
 Hand Menu
 HoloLens 2での利用機能
 ハンドトラッキング
 空間マッピング
（参考）少しのUI変更（今回だとHand Menu）でAndoroid,iOSにも対応可能
※MRTK、Azure Spatial Anchorsがクロスプラットフォーム対応のため
Microsoftの各種MR系サンプルは
MRTK V2.4.0+Unity 2019.4
（MRTKのgithubに記載）

可視化にあたってのポイント（要件）
センサーの現実空間での位置の把握が必要
どのセンサーを対象とするか特定が難しくなるため
Azure Spatial Anchors
ARマーカー
1. 管理IDとARマーカと組合わせ
る
2. CoarseRelocationを活用する
QRコードにIDを埋込む
今回はAzure Spatial AnchorsのCoarseRelocationを活用
【理由】QRコード等のマーカなしに、現実空間にアンカー設置が可能

～ Coarse Relocation ～
 「空間の特徴」
 「位置情報（=アンカー)」
 「デジタル情報」
 「センサー情報」
（Wifi/GPS/Beacon）
仮想の物体
空間解析による特徴点
クラウドで管理（IDで管
理）
 クロスプラットフォームで活用
 共有体験の土台
センサー情報を利用してSpatial Anchorの問合せが可能

～ Coarse Relocation – センサーの使い分け～
有効範囲によって使い分ける
Bluetooth
(ビーコン)
Wifi GPS
屋内
狭い空間で活用
屋外
広い空間で活用

(参考)Azure Spatial Anchors
～各デバイスのサポート状況～
有効範囲によって使い分ける
https://docs.microsoft.com/ja-jp/azure/spatial-anchors/concepts/coarse-reloc?WT.mc_id=MR-MVP-5003104
センサー種別 HoloLens Android iOS
GPS ×
機能なし
〇
APIサポート
〇
APIサポート
Wifi
〇
3 秒ごとに約 1 回のス
キャン
〇
API レベル 28 以降スキャ
ンは 2 分毎に 4 回の呼出に
調整。 Android 10 からは
調整可能
×
なし
BLE Beacon
〇
Eddystone
iBeacon

～ IoT EdgeデバイスのBeacon化が必要な理由～
Beaconとして機能させることで、Coarse Relocationが利用可能
センサーに紐づくSpatial Anchorを生成可能
センサーの位置関係を管理可能に！
Raspberry PI 4
 センサー情報
温度、湿度、気圧、照度、Co2濃度等
 Azure Iot HubとはNode.js用のライブラリを経
IoTHubのサンプルをほぼ流用
 iBeaconとしてBluetooth機能を利用
Azure Spatial Anchorsの利用で必要

Beaconを活用した
Azure Spatial Anchorsの実装

～実装手順～
以降はBluetoothを利用したアンカー制御の実装を解説
・アンカーの登録
・アンカーの検索
・アンカーの削除
Azure Spatial Anchorsはアンカー制御用にSDKが提供
・クロスプラットフォーム
・Unity向け
今回のデモシステムはGithubで公開（詳細を確認したい方は参考にしてください。）
https://github.com/TakahiroMiyaura/DigitalTwinsDemoSystem

(参考)開発環境
 Windows 10 Pro
 Unity 2019.4.10f1
 Mixed RealityToolkitV2.5.1
 Azure Spatial AnchorsV2.6.0
 Visual Studio 2019(16.5.3)
 Visual Studio Code 1.50.1
 Plugins:Azure IoT Hub(動作確認用),Remote Development
 Node.js : v8.11.3(Raspberry PI Beacon化
v10.13.0(Azure IoT Hubとの連携)
 Python:3.7.3(センサー情報収集、Json化)
HoloLens 2 & Azure Functions
IoT Edgeデバイス

～基本的な事項～
Azure Spatial Anchorsサービスの導入はPackage Manager経由
詳細な手順はhttps://docs.microsoft.com/ja-jp/azure/spatial-anchors/how-tos/setup-unity-project?WT.mc_id=MR-
MVP-5003104&tabs=UPMPackage
 空GameObjectを追加
 Spatial Anchor Manager
コンポーネントを追加
Azure Spatial Anchorsの利用に必要な情報を設定
「左記項目に入力」または「リソース設定」
※リソースファイルは以下に格納されている
Asset/AzureSpatialAnchors.SDK/Resources/SpatialAnchorConfig

～基本的な事項 – 機能系(1/3)～
 SpatialAnchorManager.CreateSessionAsync
[メソッド]Azure Spatial Anchorsとの接続に必要なセションを生成
 SpatialAnchorManager.StartSessionAsync
[メソッド]Azure Spatial Anchorsとと接続しセションを開始
 NearDeviceCriteria
[クラス]デバイス（センサー系）利用時のルールの定義
 PlatformLocationProvider
[クラス]センサー(Beacon,Wifi,GPS)の有効/無効の定義
Azure Spatial Anchorsとの接続と利用定義に関する部品

～基本的な事項 – 機能系(2/3) ～
アンカーの設置
 SpatialAnchorManager.CreateAnchorAsync
指定のオブジェクトをSpatial Anchorをサービスに登録
 空間に配置したGameObjectをアンカー情報として周辺の空間情報と共に登録
 センサー情報も登録する場合はCloudSpatialAnchorSessionに設定必要
アンカーの削除
 SpatialAnchorManager.DeleteAnchorAsync
設置済みSpatial Anchorをサービスから登録

～基本的な事項 – 機能系(3/3) ～
 AnchorLocateCriteria
[クラス]Spatial Anchor設置ルールを定義
 CloudSpatialAnchorSession.CreateWatcher
[メソッド]Spatial Anchor設置指示
 SpatialAnchorManager.AnchorLocated
[イベント]サービスから取得したSpatial Anchor設置時に発生
 SpatialAnchorManager.LocateAnchorsCompleted
[イベント]サービスから取得したSpatial Anchorすべてを設置後に発生
Azure Spatial Anchorsへのアンカー問合せと設置に関連する部品

～基本的な事項 – 設定系(1/2)～
Corse Relocalizationのための設定
NearDeviceCriteria：センサー情報の有効範囲を定義
 DistanceInMeters
 センサー位置を中心として有効範囲(半径m)
 MaxResultCount
 一度に検出するSpatial Anchor数

～基本的な事項 – 設定系(2/2)～
Corse Relocalizationのための設定
PlatformLocationProvider：センサーの利用条件を設定
 GeoLocationEnabled
 GPS情報を利用するかどうか
 WifiEnabled
 Wifi情報を利用するかどうか
 BluetoothEnabled
 Bluetooth（ビーコン）を利用するかどうか
 KnownBeaconProximityUuids
 ビーコンを利用する場合のUUIDのホワイトリスト

～実装：セションの開始～
//セッションの開始
await
CloudManager.CreateSessionAsync();
await
CloudManager.StartSessionAsync();
Azure Spatial Anchorsサービスへの接続はCredentials
Or
リソースから取得
Asset/AzureSpatialAnchors.SDK/Resources/SpatialAnchorConfig
セションの生成と開始を実施

～実装：検索の実施(1/4)～
//イベントの設定
SpatialAnchorManager.AnchorLocated += AnchorLocated;
SpatialAnchorManager.LocateAnchorsCompleted += LocateAnchorsCompleted;
SpatialAnchorManager.LogDebug += LogDebug;
SpatialAnchorManager.Error += Error;
イベントの定義
SpatialAnchorManagerのイベントにメソッドを割り当てる

～実装：検索の実施（4/4)～
アンカー検索の実施(非同期)
//Anchor取得の開始
CloudManager.Session
.CreateWatcher(anchorLocateCriteria);
指定ルールに合致する登録済みSpatial Anchorを検索
配置のタイミングで以下のイベントが発生可能な場合
 SpatialAnchorManager.AnchorLocated
 SpatialAnchorManager.LocateAnchorsCompleted
//範囲を設定
NearDeviceCriteria nearDeviceCriteria
= new NearDeviceCriteria();
nearDeviceCriteria.DistanceInMeters = 8;
nearDeviceCriteria.MaxResultCount = 25;
var anchorLocateCriteria
= new AnchorLocateCriteria();
anchorLocateCriteria.NearDevice
= nearDeviceCriteria;
//センサー利用のための設定
PlatformLocationProvider provider
= new PlatformLocationProvider();
provider.Sensors.GeoLocationEnabled = false;
provider.Sensors.WifiEnabled = false;
provider.Sensors.BluetoothEnabled = true;
provider.Sensors.KnownBeaconProximityUuids
= new string[] {[uuid],…};
CloudManager.Session.LocationProvider =
provider;

～実装：登録～
Spatial Anchorの登録
通常のGameObjectで位置決めを実施
// アンカー情報の取得
CloudNativeAnchor cna =
spawnedObject.GetComponent<CloudNativeAnchor>();
if (cna.CloudAnchor == null)
{ cna.NativeToCloud(); }
CloudSpatialAnchor cloudAnchor = cna.CloudAnchor;
//アンカーの寿命を設定（検証では有限に！）
cloudAnchor.Expiration =
DateTimeOffset.Now.AddDays(7);
//アンカーの登録
await CloudManager.CreateAnchorAsync(cloudAnchor);

まとめと考察

現実空間にセンサー情報を可視化する意義
作業支援として一定の効果はあると考えられる
 センサー情報＋現実空間（空間認識など）を組合わせるデジタルツインも可能
 現物確認が必要なシチュエーションでは可視化による効率化が可能
【Cloud】
分析
モデル投影
可視化・・・

現実空間にセンサー情報を可視化する意義
(3,0,5)
デジタル空間でのセンサー位置の管理の実現
Azure SpatialAnchorsにより現実空間のセンサー位置をUnityの座標系で管理
設置センサーの後付けや移動による座標情報までDigitalTwinsで管理が可能
(1,2,5)
(0,0,0) (3,0,0)
(1,2,5)
(0,0,0)センサーの移動
(3,0,5)
アンカーの移動

Azure Spatial Anchorsを中心にDigitalTwinsを実現する手段の紹介
デモの紹介と考察
本日のテーマ
情報の可視化を現実空間で実施
機器メンテナンスを想定して対象の特定、センサー情報を補助空間に出力
【Cloud】
分析
モデル投影
可視化・・・

ご清聴ありがとうございました

Mixed Realityを活用したIot Edgeの管理と情報の可視化による「Digital Twins」の実現

More Related Content

What's hot (20)

Similar to Mixed Realityを活用したIot Edgeの管理と情報の可視化による「Digital Twins」の実現 (20)

More from Takahiro Miyaura (20)

Mixed Realityを活用したIot Edgeの管理と情報の可視化による「Digital Twins」の実現

Editor's Notes