AndroidのAR最新動向
1 like530 views
2021年6月20日に開催されたAndroid Bazaar and Conference 2021 Springで「AndroidのAR最新動向」というタイトルのセッションの資料です。UnityでARCoreを活用したARアプリ開発や、Raw Depth APIとかRecording and Playback APIとかのGoogle I/Oでアップデートされた新機能の話を盛り込んでいます。 https://japan-android-group.connpass.com/event/214900/
AndroidのAR最新動向
- 2. @ken1_taka ktaka 株式会社カブク / ソフトウェアエンジニア 高橋憲一 • 携帯向け3Dグラフィクスエンジンや、昔あった 某ARアプリの開発に携わる • 現在はカブクで3Dグラフィクスのレンダリング および解析エンジンの実装を担当 • 個人的活動としてAR&VRの実験をする傍ら翻訳 本を出したり、技術系雑誌への解説記事を寄稿す るなどしている • 東北TECH道場の講師として主に石巻道場、時々 東北のあちこちに出没
- 3. 今日の内容 • ARCoreでできること • Google I/O 2021のAR関連情報 • Recording and Playback API • Raw Depth API • WebXR
- 4. ARCoreでできること • 基本の3機能 • 環境認識 • モーショントラッキング • 光原推定
- 5. 子猫と戯れるARアプリ • Unity + AR Foundationで開発 • Android → ARCore • iOS → ARKit • Software Designで連載していた記事 • 2019年8月∼2020年9月の14回 • UnityのプロジェクトはGitHubで公開 • https://github.com/ktaka/ARKitten2019
- 6. 簡易版のハンズオン動画 • 東北TECH道場のオンライン講座アーカイブ • 全3回の動画 • https://youtube.com/playlist? list=PLy_WOQXVomS7DdhFxITGKkuKQ yyouGQuu
- 7. 1回目 • Unityのインストール • ボールに見立てた球体を追加 • 物理エンジンの機能を試す • ボールが落下する • 落下したボールが平面ではずむ • スワイプしてボールを投げる機能を追加
- 8. 2回目 • ボールに色をつける • ペットのオブジェクトを追加 • ボールを投げてはずんだところにペットが 歩いてくる • AR Foundationを組み込む • ビルドしてスマホで動かす
- 9. 3回目 • ペットの後ろに回り込むとこちらを向いて くれる • 単純な回転 • アニメーションつきの回転 • 現実空間の平面にARペットの影を落とす • 影を描画するシェーダーの追加 • 平面を完全に透明化
- 10. UnityでARCoreを使うときの注意 • 2種類のパッケージ • ARCore SDK for Unity • AR Foundation + ARCore Extensions for AR Foundation
- 11. UnityでARCoreを使うときの注意 • 2種類のパッケージ • ARCore SDK for Unity → 非推奨 • AR Foundation + ARCore Extensions for AR Foundation
- 13. ARCore関連セッション
- 14. ARCore関連セッション ？
- 15. ARCore関連セッション
- 17. Recording and Playback API
- 19. Recording and Playback API (AR Anywhere) アプリで再生 動画(mp4)として保存 • カメラ映像 • IMU（加速度センサなどの値） AR画面の背景
- 20. オブジェクトの配置情報（アンカー）も 動画のトラックに埋め込める AR画面の背景 動画(mp4)として保存 映像 トラック 独自トラック に配置情報 配置情報を 元にオブジェクトを配置 アプリで再生
- 21. コードラボ • Introduction to ARCore Recording and Playback API • https://codelabs.developers.google.com/ codelabs/arcore-record-and-playback-intro
- 22. コードラボの完成画面
- 24. これで嬉しいのは… • 開発者は現地に何度も行って調整しなくても済む • ユーザーはその場にいなくても前にいた場所のARを再現できる • 外出先で「これうちのリビングに合うかな」という時など
- 25. Raw Depth API
- 26. Depth API • Depth APIは2020年6月に追加 • 現実の物体に隠れるCGのオブジェクト • 平面ではない現実の物体との衝突
- 27. Raw Depth API • より精度の高い距離の値 • ピクセルごとの値の信頼度を示す Con fi dence Images • 簡易的な3Dスキャンに使用できる
- 28. Depth (full Depth) vs Raw Depth • Raw Depth API • すべてのピクセルはカバーしていない • 精度は高い • (full) Depth API • すべてのピクセルをカバー • なめらかになるよう補間されている • 精度は低い Camera Raw Depth Full Depth https://developers.google.com/ar/develop/java/depth/raw-depth
- 29. WebXRでAR
- 30. WebXR • WebXRでARコンテンツを開発するワーク ショップ • コードラボを進めていくセッション • https:// codelabs.developers.google.com/ar- with-webxr
- 31. ご静聴ありがとうございました