Web based 3D video streaming system “Depstreamer(仮)”

Web based 3D video streaming
“Depstreamer(仮)”
あるしおうね

あなた誰？
名前：あるしおうね
仕事：ARとかVRのエンジニア（自称）
趣味：こんなの作ったりしてます
あとミクさんと遊んでます

これは何？
ブラウザで三次元動画を
見られるシステム
（生配信、VRも可）

どうやってるの? : 録画再生時
このサイト
HTTPサーバ

このサイト
HTTPサーバ
ブラウザ

このサイト
HTTPサーバ
WebGL/WebVR
で三次元表示
(Three.js)
ブラウザWebページ
（JavaScript）入り

このサイト
HTTPサーバ
動画はどこ？
WebGL/WebVR
で三次元表示
(Three.js)

カラー＋距離値
動画
このサイト
HTTPサーバ
動画サイト
ビデオサーバ
WebGL/WebVR
で三次元表示
(Three.js)

どうやってるの? : 生配信時は？
このサイト
HTTPサーバ
WebGL/WebVR
で三次元表示
(Three.js)

どうやってるの? : 生配信時は？
このサイト
HTTPサーバ
WebGL/WebVR
で三次元表示
(Three.js)
ここを入れ替える

どうやってるの? : 生配信時
このサイト
HTTPサーバ
WebGL/WebVR
で三次元表示
(Three.js)
動画ストリームライブ配信サイト
動画ストリーミングサーバ

どうやってるの? : 配信側は？
ライブ配信
サイト
動画ストリーミング
サーバ
距離画像
カメラ
RealSense
RealSense

RealSenseカメラリグ：設置型

RealSenseカメラリグ：機動型

ライブ配信
サイト
RealSense
Converter
サーバ
距離値変換アプリ
色
＋
距
離
距離画像
カメラ
RealSense
RealSense

ライブ配信
サイト
サーバ
OBS
配信ソフト
RealSense
Converter
ウィンドウキャプチャ
色
＋
距
離
距離画像
カメラ
RealSense
RealSense

ライブ配信
サイト
OBS
RealSense
Converter
動画ストリーム
サーバ
配信ソフト
ウィンドウキャプチャ
色
＋
距
離
距離画像
カメラ
RealSense
RealSense

今後は？
•もっときれいにする（切実）
•スマートフォンベースのAR環境に対応させる
（ARkit, ARCore）
•色々できるようにする（複数対多配信など）

どうやってるの? :カメラ校正
キャリブレーションアプリ
RealSense
Calibrator
カメラ各種パラメータ
距離画像
カメラ
URLに埋め込み
orメタデータ？
RealSense
RealSense

サポート環境（VR）
•WindowsMR + Edge
•HoloLens + Edge
•DaydreamVR + Chrome
※Milage Solo以外移動不可
•Oculus Quest / Go + Oculus
※Goは移動不可
•Magic Leap One + Helio (対応中)

Web based 3D video streaming system “Depstreamer(仮)”

More Related Content

What's hot (20)

Web based 3D video streaming system “Depstreamer(仮)”

Editor's Notes