2022/07/22 AITC 第４回オープンラボ「メタバース応用編～空間OSのこれまでとこれから～」セッション1 「空間OSとメタバース」
- 1. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 空間OSとメタバース • 2022年7月22日 • 先端IT活用推進コンソーシアム • XR研究部会 • コンテキスト・コンピューティング研究部会 • 日本総合システム株式会社 中川雅三
- 2. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 2 空間OSとは • その場所にある様々なエージェント(ロボット)を 連携させる「メタOS」。寿命数十年以上目標。 空間OS 最初は「家」で実装開始
- 3. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 3 空間OSの実装 • 空間OSは「黒板モデル」の黒板 • 空間内のあらゆる情報（コンテキスト）をエージェントが黒板へ書き込む • エージェントは黒板に書かかれた情報に基づいて動作し、結果を黒板へ書き込む • エージェントは同じコンテキストを共有して協調動作する 空間OS=黒板 空間内のあらゆる情報を保持 RDFストア ＋変化通知 ＋履歴記録 （＋権限制御） エージェント エージェント … エージェント
- 4. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 4 “空気を読む家”実装実験 • Apache JENAを改造したRDFストア • 変化値を保持する「物理ノード」 • WebSocketで変化を通知 • 値変化の履歴を記録 • キュー型ノードによる包摂アーキテクチャのサポート • 属性設定によるアクセス権限制御 • 存在を見せない／値は読めないが検索には使える 資料： • 「LOD の物理世界拡張と空間 OS」 http://aitc.jp/pubs/bizar/SIG-SWO-039-02.pdf • 「空間 OS によるエージェントのデータ共有と相互運用」 https://aitc.jp/pubs/bizar/SIG-SWO-048-01.pdf RDFストアとは： ・グラフDB ・検索言語SPARQL ・名前空間の分離 LOD※で使われている ※ LOD : Linked Open Data クラウドにもedgeにも 設置できる
- 5. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 5 “データ”による互換性 • 寿命数十年以上 • すべての機器は不定期に入れ替わる • 過去のデバイスとの互換性 • 未来のデバイスとの互換性 • 入れ替え時に必ず保持するのは”データ” • 間違いなくエクスポート・インポートできる → 単純・万能な構造 • “変化”に耐えられる → 名前空間の分離による新旧の共存
- 6. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 6 ローカル連携 ― edgeにおけるプラットフォーム • ローカル連携の価値 （クラウドでは実現困難） • 秘匿性 機微なプライバシー情報を外で処理しない • リアルタイム性 クラウドとの間には光速の壁 • 堅牢性 クラウドやネットがダウンしても稼働 • 多様性 あらゆる組み合わせや嗜好への対応
- 7. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 7 「家」における空間OS 一般知識・データ オントロジー、ルール、 気象情報、サービス、… エージェントメタデータ クラス定義、機能定義… 空間OS：動的RDFストア （非 公開） LOD (公開） ローカルナレッジ 家族構成、間取り、契約… 空気を読む・人間API 会話、外部連絡、忖度… 管理エージェント 安全、空調、電力… 認識・解釈エージェント 人・ペット・環境… センサー・アクチュエータ 温度計、マイク、カメラ、エ アコン、掃除ロボット… プロトコルコンバータ エージェント ＝Web Servcie 他の空間OS 知 識 共 有 黒 板 モ デ ル
- 8. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 8 実現したいユースケース例 • “家”が住人へ提案 「暑いので窓を開けませんか」 • 家電メーカーの解決策 → エアコンを稼働 • 住宅メーカーの解決策 → 窓の自動開閉 • 住人のための解決策 • 総合的な判断 • 天候、家の造り、健康状態、年齢、家族構成、気分… IT ≠ 自動化
- 9. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 9 実装実験で確認できたポイント • プログラムが思い通りに動作する • 開発しやすい 複数チームが分散作業でデモを実装 • エージェント化による明確な機能分割 • 容易なシミュレーション → 仮想と現実のシームレスな接続 • そこそこのパフォーマンス@JSONテキスト • 数10バイト：毎秒数万通知（@EC2 microインスタンス） • 毎秒20フレーム姿勢骨格データ中継：20チャネル程度
- 10. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 10 空間OSの社会実装 • 空間OSをインフラにすれば… • 個人宅やオフィスで第3者がビジネスを実現 • 公共 • 事業者 • ボランティア → 「共助」のインフラ デジタル庁 統括官 村上敬亮氏の講演資料より 課題： どのように実装してゆくか
- 11. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 11 共助インフラとしてのユースケース例 • 共助：行政・企業・家族・ご近所・ボランティア… • 高齢者の熱中症リスク → エアコンをオフしたふり • 独居住人の動きが無い → VRで声掛け、その後… • 離れて住む家族が気配を共有 • 引っ越した先へ設定を移行 …
- 12. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 12 空間OSの解釈その１ • “黒板”で共有するデータは「デジタルツイン（履歴付き）」 • センサ値：その場所のプロパティ • カメラ、温度計、ドアの開閉… • アクチュエータ：値を書きこむと何かが動く • 照明、エアコン、ドアロック、ロボット… • エージェントのステート：解釈された状況 • 人の位置、姿勢、気分を認識・予想 • 警備、電力消費、空調などの状態や計画
- 13. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 13 空間OSの構成 空間OS: デジタルツインストレージ （履歴・メタデータ・インデクス） センサ センサ センサ 各種カメラ 温度計 ドア・窓 … センサ センサ 計算エージェント 人物認識 空調・警備 健康管理 … センサ センサ アクチュエータ 音声・ディスプレイ エアコン ロック …
- 14. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 14 メタバースと空間OSの関係 仮説 • 1個のメタバースを空間OSでモデル化することができる。 • 複数のメタバースを空間OSでつなげることができる。 • 現実空間とメタバースをつなげることができる
- 15. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 15 メタバースの構成 モデル空間: オブジェクトストレージ （APIつき） センサ センサ センシング キー・スイッチ モーショントラッキング 音声 … センサ センサ 計算エージェント レンダリング 物理シミュレーション NPC（対話エージェント） 価値交換 センサ センサ フィードバック ディスプレイ 音声・振動 … 一体化しているシステ ムを分解してみると
- 16. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 16 マルチバース モデル空間: オブジェクトストレージ （APIつき） モデル空間: オブジェクトストレージ （APIつき） モデル空間: オブジェクトストレージ （APIつき） センサ センサ センシング センサ センサ 計算エー ジェント センサ センサ フィード バック 空間OS: デジタルツインストレージ （メタデータと賢いインデクス付き） センサ センサ センサ センサ センサ 計算エー ジェント センサ センサ アクチュ エータ モデル空間: オブジェクトストレージ （APIつき） マルチバースのハブ としての空間OS マッピング
- 17. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 17 空間OSの解釈その２ • プログラミングモデル • 空間OS コンテキストの変化・時間経過 → 新しいコンテキスト • （多くの言語やRPC イベント＋パラメータ→応答） • コンテキスト ＝ エージェント群の共有情報 • フレームの外縁 • 機密の境界 • コンテキストの種類 • 場所：身辺、部屋、家、ビル、街、国、メタバース… • グループ：家族、サークル、会社… • アクティビティ：生活、遊び、仕事… “コンテキスト”上の コンピューティング
- 18. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 18 「家」における空間OS （再掲） 一般知識・データ オントロジー、ルール、 気象情報、サービス、… エージェントメタデータ クラス定義、機能定義… 空間OS：動的RDFストア （非 公開） LOD (公開） ローカルナレッジ 家族構成、間取り、契約… 空気を読む・人間API 会話、外部連絡、忖度… 管理エージェント 安全、空調、電力… 認識・解釈エージェント 人・ペット・環境… センサー・アクチュエータ 温度計、マイク、カメラ、エ アコン、掃除ロボット… プロトコルコンバータ エージェント ＝Web Servcie 他の空間OS 知 識 共 有 黒 板 モ デ ル
- 19. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 19 • 機密の境界としてのコンテキスト 「プライバシー」はゼロかイチかではない • 自分だけの • 家族の • 医療・介護での • 仕事の • 友人との 重要となる「プライバシー」への対応 空間OSで 制御できる可能性
- 20. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. ハルミン AITC非公式イメージキャラクター 最新情報はこちらをご参照ください http://aitc.jp https://www.facebook.com/aitc.jp