Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips

takabrz1 大阪駆動開発 Takahiro Miyaura
Mixed RealityとAzure Digital Twinsを組合わせて
デジタルツインを可視化するためのTips
2022/02
Microsoft Developer Night

宮浦恭弘 (Miyaura Takahiro)
 大阪駆動開発(とHolomagicians)コミュニティに生息
 HoloLens日本販売してからxR系技術に取組む
 普段はよくMixed Reality Toolkitに関する調査している
 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
 リリース機能調べたり・・・
 面白い機能使ってみたり・・・
 新しい実験してフィードバックしたり・・・
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

実はMixed Realityが薄めです。
ほとんどAzure Digital Twinsネタになっちゃいました
2022/02/03 Copyright © 2022 Takahiro Miyaura 3

なぜかというと
バックエンドの方の話に触れた方がいいと思ったら時間が足りなくなった。。。
2022/02/03 Copyright © 2022 Takahiro Miyaura
便利なMS Learnやサンプルがあるので必須参照です！
4
https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/
HoloLens × Azure Digital Twins × Unityなコンテンツを試しながら
各サービスについての機能や実装を確認できる。

なぜかというと
バックエンドの方の話に触れた方がいいと思ったら時間が足りなくなった。。。
便利なMS Learnやサンプルがあるので必須参照です！
5
https://github.com/Azure-Samples/azure-digital-twins-unreal-integration/
Azure Digital Twins × Unrealなコンテンツを試しながら
各サービスについての機能や実装を確認できる。

本日のお題

本日のお題
 Mixed Realityでも使うAzure Digital Twinsへの理解
【基礎編】
 Azure Digital Twins（ADT）について
 Digital Twins Definition Language(DTDL)とオントロジー
【実践？編】
 サンプルなどからみる鉄板（？）アーキテクチャ
 Unreal Engine向けのADT連携プラグインの解説
Microsoft Igniteで紹介されていた
とてもよくできている

【基礎編】
Azure Digital Twins（ADT）について

【基礎編】
現実環境のデジタルモデルに基づいたデジタルツインを構築できるPaaS
現実環境をデジタルモデルで管理運用するための中心となるサービス
https://docs.microsoft.com/ja-jp/azure/digital-twins/overview
 Json形式のデジタルモデル管理
 デジタルモデルをDigital Twins Definition Language(DTDL)で定義
 モデルに対するインスタンス（＝デジタルツイン）を管理
 クエリ言語によるインスタンスの状態更新
 API経由で現実環境情報を入力
 例：Azure IoT Hubなど
 デジタルツインを別にサービスに出力
 例：Time series Insights等の分析サービス

【基礎編】
SDKやAPI、他Azureサービスを利用して管理
 デジタルツインの作り方
1. Azure Digital Twinsサービスを作成
2. Digital Twins Definition Language(DTDL)でモデルを記述
3. モデルに対するデジタルツインを作成する
1. モデルに基づいたインスタンスの作成
2. インスタンス同士のリレーションの定義
4. 現実環境の情報を作成したデジタルツインに入力
5. デジタルツインの情報を活用する
便利なツール
 Digital Twins Explorer
 Azure Digital Twins内のモデルや、デジタルツインの情報の可視化ツール
現実環境のモデルをどう構築するかがキモ
最近はいくつかもモデル定義が標準化されている

【基礎編】
Digital Twins Definition Language(DTDL)と
オントロジー

【基礎編】
Digital Twins Definition Language(DTDL)
 右の例は・・・
 Homeというデジタルツイン
 String型のidプロパティを持つ
 Floorとの接続関係がある
{
"@id": "dtmi:com:adt:dtsample:home;1",
"@type": "Interface",
"@context": "dtmi:dtdl:context;2",
"displayName": "Home",
"contents": [
{
"@type": "Property",
"name": "id",
"schema": "string"
}, {
"@type": "Relationship",
"@id": "dtmi:com:adt:dtsample:home:rel_has_floors;1",
"name": "rel_has_floors",
"displayName": "Home has floors",
"target": "dtmi:com:adt:dtsample:floor;1"
}
]
}
 現実環境をデジタル環境に定義する言語
 Json形式で定義
 PropertyとTelemetryがある
プロパティを使った例
プロパティ＝読書可能な情報

【基礎編】
 右の例は・・・
 Sensorというデジタルツイン
 double型のtemperatureテレメトリを持つ
{
"@id": "dtmi:com:adt:dtsample:Sensor;1",
"@type": "Interface",
"@context": "dtmi:dtdl:context;2",
"displayName": “Sensor",
"contents": [
{
"@type": Telemetry",
"name": “temperature",
"schema": “double"
}
]
}
 現実環境をデジタル環境に定義する言語
 Json形式で定義
 PropertyとTelemetryがある
テレメトリを使った例
テレメトリ＝存続期間の短いデータ

Sensor
【基礎編】
管理のためのPropertyと、アクションのためのTelemetry
Room
テレメトリ
Temperature
プロパティ
State
センサー
温度:19
ロジック
18 < x < 20=適
温
状態:適温
アクション
モデル定義の詳細は公式ドキュメントへ
https://docs.microsoft.com/ja-jp/azure/digital-twins/concepts-models
 Sensor：一定時間でTemperatureが取得されるツインモデル
 Room：部屋の温度状態がわかるツインモデル
用途を考えて・・・

【基礎編】
現実環境のデジタルモデルに基づいたデジタルツインを構築できるPaaS
現実環境のモデルをどう構築するかがキモ
 Json形式のデジタルモデル管理
 デジタルモデルをDigital Twins Definition Language(DTDL)で定義
 現実環境をデジタル環境に定義する言語
 Json形式で定義
 PropertyとTelemetryがある
 モデルに対するインスタンス（＝デジタルツイン）を管理
 クエリ言語によるインスタンスの状態更新
 API,SDKによる情報の入出力

とはいえ、
ある程度は同じようなモデルにならないの？

【基礎編】
Digital Twins Definition Language(DTDL)とオントロジー
幾つか標準化されたモデルがあります
RealEstateCore スマートビルオントロジ
https://docs.microsoft.com/ja-jp/azure/digital-twins/concepts-ontologies-adopt#realestatecore-smart-building-ontology
https://github.com/Azure/opendigitaltwins-building
モデル定義デジタルツイン表現（例）
Unrealのサンプルはこ
れが基本になっている

【基礎編】
スマートシティのオントロジ
https://docs.microsoft.com/ja-jp/azure/digital-twins/concepts-ontologies-adopt#smart-cities-ontology
https://github.com/Azure/opendigitaltwins-smartcities

【基礎編】
エネルギーグリッドのオントロジ
https://docs.microsoft.com/ja-jp/azure/digital-twins/concepts-ontologies-adopt#energy-grid-ontology
https://github.com/Azure/opendigitaltwins-energygrid/

【実践？編】
サンプルなどからみる鉄板（？）アーキテクチャ

【実践？編】
鉄板（？）アーキテクチャ
デジタルツイン可視化のための情報はSignalRの同報通信
Username: Student
Password: Pa55w.rd
Unrealのサンプル
情報の更新はSignalR
MS Learnの場合
やっぱり更新はSignalR
Architecture Centerの例
ここもSignalR
可視化の手段を柔軟に選択できる
複数の可視化手段にも対応可能

【実践？編】
Unreal Engine向けのADT連携プラグインの解説
 概要
 アーキテクチャ
 Unreal上の定義とADT上の定義
 操作風景

概要

【実践？編】
Igniteで異彩を放つセションだった。
 セションの内容
 Pixel StreamingのAzure対応
 ADTLink Pluginの紹介
！？
https://myignite.microsoft.com/sessions/77f30ebe-4201-4863-8f04-b9c201c9dd69
24

【実践？編】
Unreal Engineにはすごすごプラグインが存在する
 UnrealだけでADT完結
 DTDLを定義したコンポーネントの作成
 ADTにモデル登録
 モデルからデジタルツインの作成
 各デジタルツインをオブジェクトとして追加
 オブジェクト階層関係でリレーション定義
 SignalRによるADTからのデータ受信
 変更されたツインのみに情報が転送される
DTDLの定義すらノーコードで
オブジェクトの紐づけ管理が
できるうえにデジタルツインできる

アーキテクチャ

実践？編】
IoTセンサーから情報もらって整理して可視化
センサーデバイス
→Azure Digital Twins
Azure Digital Twins
→アプリケーション
Azure Digital
Twi
ADTLink Plugin
Unreal Editor 上から
Azure Digital Twinsのモデルと写像を作成
27

Unreal上の定義とDTDL上の定義

【実践？編】

【実践？編】
部屋を表すUnreal上の定義とADT上の定義

【実践？編】
部屋を表すモデルのUnreal上の定義とADT上の定義

操作風景

【実践？編】

【実践？編】
DTDL定義の生成を登録
ADT設定用のウィジェットを利用

【実践？編】
レイアウトを整える
登録したモデルでデジタルツインを構築
 ウィジェットで作成すると関連するオブジェクトが自動的に生成される
各デジタルツインは登録されるが関係性は不明
作ったモデル情報から
デジタルツインを構築

【実践？編】
各デジタルツインに対応するオブジェクトが追加
 実際の空間に合わせて配置を調整
コンテンツ上に展開された各デジタルツインを
表すオブジェクトの調整

【実践？編】
各デジタルツインに対応するオブジェクトが追加
 実際の空間に合わせて配置を調整
リレーション情報が追加される
ADTLinkプラグインでリレーションの設定
部屋内に存在するデジタルツインを選別可能

まとめ

まとめ
サンプルで学ぶのに必要な情報を整理してみました
 Mixed Realityでも使うAzure Digital Twinsへの理解
【基礎編】
 Azure Digital Twins（ADT）について
 Digital Twins Definition Language(DTDL)とオントロジー
【実践？編】
 鉄板（？）アーキテクチャ
 Unreal Engine向けのADT連携プラグインの解説
 Microsoft Igniteで紹介されていた
Microsoft Learnやサンプル前に確認すると仕組みが理解しやすいかも？
色々チャレンジしてみてね！

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ

参考
詳しくは・・・
Microsoft 公式関連
 ラーニングパス
 「Azure Digital Twins と Unity を使用して Mixed Reality デジタルツインを構築する」
https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-
unity/?WT.mc_id=MR-MVP-5003104
 Microsoft Build 2021 関連セション
 Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity
https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757
(ラーニングパスの解説も兼ねているのでお勧め )
 Microsoft Ignite 2021 関連セション
 Scaling Unreal Engine in Azure with Pixel Streaming and Integrating Azure Digital Twins
https://myignite.microsoft.com/sessions/77f30ebe-4201-4863-8f04-b9c201c9dd69
41

参考
Microsoft 公式関連
 Azure Digital Twinsとは
 https://docs.microsoft.com/ja-jp/azure/digital-twins/overview
 Azure Architecture(Digital Twins関連)
 https://docs.microsoft.com/ja-jp/azure/architecture/browse/?expanded=azure&products=azure-
digital-twins
42

参考
Qiita記事
「Ureal Engineで利用できるAzure Digital Twins用Pluginの解説 - サンプル動かす編」
https://qiita.com/miyaura/items/77451f421f9bfc2d7699
Microsoft Build 2021で話があったMixed Realityに絡むDigital Twinsについての技術要約
https://qiita.com/miyaura/items/dcd76fc796d8974fd099
Microsoft Learn 「Azure Digital Twins と Unity を使用して Mixed Reality デジタルツインを構築する」解説(Azure IoT Hub編)
https://qiita.com/miyaura/items/14812caf737afd48a460
Microsoft Learn 「Azure Digital Twins と Unity を使用して Mixed Reality デジタルツインを構築する」解説(Azure Digital Twins編)
https://qiita.com/miyaura/items/dc78983d7094038e9f29
ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタルツインを構築する」にAzure Mapsをアドオンしてみよう
https://qiita.com/miyaura/items/dde60667a8e72fa14377
43

参考
Github
Unreal Engine and Azure Digital Twins integration demo
https://github.com/Azure-Samples/azure-digital-twins-unreal-integration
Digital Twins Definition Language (DTDL) V2
https://github.com/Azure/opendigitaltwins-dtdl/blob/master/DTDL/v2/dtdlv2.md
DTDLオントロジ
Digital Twins Definition Language-based RealEstateCore ontology for smart buildings
https://github.com/Azure/opendigitaltwins-building
Digital Twins Definition Language (DTDL) ontology for Smart Cities
https://github.com/Azure/opendigitaltwins-smartcities
Digital Twins Definition Language (DTDL) ontology for Energy Grid
https://github.com/Azure/opendigitaltwins-energygrid/
44

Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips

More Related Content

What's hot (20)

Similar to Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips (20)

More from Takahiro Miyaura (17)

Mixed RealityとAzure Digital Twinsを組合わせてデジタルツインを可視化するためのTips