#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
Download as PPTX, PDF3 likes4,443 views
VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ(速公開版) グリー株式会社 GREE VR Studio Lab Director 白井暁彦
![[現在] GREE VR StudioDirector
＜ラボって何やってるの…？＞
VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援
国内/海外他社とのR&D連携推進
成果発信・啓蒙活動・インターンシップ受け入れ
Twitter @VRStudioLab
YouTubeチャンネル
j.mp/VRSYT](https://image.slidesharecdn.com/ccse2019-early-190713091149/85/CCSE2019-GREE-VR-Studio-Lab-VTuber-3-320.jpg)
#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)
- 1. GREE VR Studio Lab, GREE, Inc. VTuber向け特殊表情コントローラの 可能性と機械学習的アプローチ グリー株式会社 GREE VR Studio Lab Director 白井暁彦 Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab 速公開版
- 2. 白井暁彦: VRエンタテインメントシステムの研究者 書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director
- 3. [現在] GREE VR StudioDirector ＜ラボって何やってるの…？＞ VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援 国内/海外他社とのR&D連携推進 成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT
- 4. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方 ・機械学習を用いたフェイシャルキャプチャ ・指表現グローブの開発 ・Vicon, Xsens等新型Mocapの評価導入 ・外部デモを開発する ・価値を測る ・アバター社会の教育利用 ・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発 ・国際連携
- 5. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える GREE VR Studio Lab
- 6. 2019/7/1発表
- 7. VTuberと触覚エンタテインメント(まじめ) ● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” ● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” ● Yusuke Yamazaki, et al. バーチャルな世界の熱狂を 肌で感じることができる 触覚デバイス「Hapbeat」 （東工大発Startup企業） →視覚に頼らず距離や方向を 表現するためのアルゴリズムに関する研究 東工大 オフキャンパス実習＆ 長谷川研究室とコラボで実現
- 9. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクト しかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、 好きな声になって気持ちを伝えよう！ あなたは「どんな声」で何を伝えますか？ 「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。 「おねえさん」「マダム」「男子中 学生」「ソプラノ」「おにいさん」 「小学生」「ゴリラ」「ダミボ」 「ヤミ声」「ムッシュ」「カワボ」 「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
- 14. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】 東京国際フォーラム1500席の前で たった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション
- 16. VTuber 3D Avatar Technology Voice Record & Lip Sync Motion Capture Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth Xsens MVN Animate - Products - Xsens 3D motion tracking https://www.xsens.com/products/xsens-mvn-animate/ Real Time Rendering Network Broadcasting Gifting https://ikinema.com/orion
- 18. 記者会見やライブデモにも活用 👈決算説明会（朝日新聞社YouTubeより） 外部イベント用仕様 iPhone新機種のキラーアプリ的扱い YouTube「KDDI iPhone XS／XS Max 発売イベント」で検索 VTuber社員 「いそら真実」@_Isoramanami/
- 19. REALITY Studio Tokyo - プロによる公式番組 MVN LinkMVN Link MVN Studio Live Action Vive Tracker x8Vive Tracker x8 Live Action iKinema Orion iKinema Orion 収録と生放送で 共演可能 複数人のライブモーションキャプチャーに対応
- 20. REALITY Studio Tokyo - プロによる公式番組 収録と生放送で 共演可能 現実空間のカメラワークや音響と 仮想空間の3D演出をリアルタイムにミックス マイクやミキサー による音声出力 Vive Tracker のカメラワーク Unreal Engineの 3D表現の出力 現実空間 仮想空間 ゲームの映像出力 OBS/WireCast
- 21. REALITY Studio → クラウド → REALITYアプリへ 収録と生放送で 共演可能 毎日の収録&生配信に耐えうる機材を常備 他のプラットフォームにサイマル配信が可能 技術スタッフによる検証
- 23. 表情の可能性
- 25. “特殊表情”
- 26. REALITY 公式番組における特殊表情の例 奏天まひろ ＆ 葉月ナツ さんによる デスソースチャレンジ
- 27. Unreal Engine 4 (自社開発) Pipelines for VTuber Live Entertainment in REALITY Studio REALITY Glove (StretchSense) Facial Capture Blendshape (iPhoneX TrueDepth) Gifting (GCP) Real-Time Rendering (Unreal Engine4) OBS Studio IP Broadcasting
- 31. 機械学習的 アプローチ
- 34. Real-Time Rendering (Unreal Engine4) Pipelines for VTuber Live Entertainment in REALITY Studio REALITYGlove (StretchSense) Facial Capture (iPhoneX TrueDepth) Gifting (GCP) OBS Studio IP Broadcasting VIVE Tracker (Bluetooth / USB Cable) Xsens MVN Studio Facial Controller - LiveAction - Camera controller - Studio props - Collision 2D Real-Time Compositing RTMP Transfer
- 35. 今回扱った特殊表情15種類 happy: 嬉しい顔 plan: 企み・ドヤ顔 pressure: 威圧顔 x: ＞＜（バツ目）顔 fear: 恐怖/青ざめ angry: 怒り顔 spiritless: 無気力顔 beg: おねだり sad: 泣き顔 shame: 照れ顔 star: 星目 o: 白丸目 Kiss: キス顔 speak: 通常顔 default: 通常顔（顔閉じ）
- 38. 52 blendshapes (upto 75 fps)
- 40. 完成したプロトタイプ ● 予測結果の表示 ● Blendshape値 ● スレッショルド ● 時間方向フィルタ ● ルールベースOn/Off ● 機械学習On/Off ● 分類器On/Off ● 分類クラスの選択 PKSHA Tech Collaboration
- 41. (できたものベース)まとめ
- 44. 「転声こえうらない」(β) の背景 【技術】 ・VR Studio Labと社内のインフラ基盤などを支える開発本部を中心に開発 ・音声変換の高品質化、クラウド化、リアルタイム化を目標の基盤研究 ・ラボプロトタイプ「声のバーチャルリアリティ」 ・明治大学 総合数理学部先端メディアサイエンス学科 森勢将雅 准教授に よる音声分析合成方式「WORLD」を応用 ・楽しい体験とシェア機能を通して、 みなさんの「なりたい自分」についての調査・研究が可能なサービス 【今後】 ・リアルタイム化、クラウド上で動くエンジンモジュール化 ・音声コミュニケーションと将来のソーシャルメディア研究基盤 ・今後も「R2D」で新たな社会実装を続けて参ります https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
- 46. GREE VR Studio Labインターン募集 学位認定型インターン(3-6か月)：修士～博士の専門テーマに関連 自由研究型インターン(3か月)：提案により ミッション達成型インターン（機械学習系） 実装エンジニア（グラフィックス / Web / サーバーインフラ） ・総合的なR&D就業体験、キャリア相談、素敵なランチ ・出勤日は週2日～。ミッション達成型は自宅作業も検討します。 ・時給は規定により優遇： ・修士/博士課程学生優遇 ・指導教員と連携して進めます ・欧州型インターンシップ・学位認定要件に最適 ・International (English/Japanese)： 英語を日常的に使いたい人オススメ 応募方法：VRSionUpの懇親会で名刺交換 もしくは Twitter @o_ob へDMにて応募
- 47. Copyright © GREE, Inc. All Rights Reserved. GREE Camp（2日間） エンジニア、デザイナー、ビジネス／ゲームプランナー混成チームを組み、 新規ゲームやインターネットサービスの企画・モックアップ開発に挑む。 優秀チームは社内イベントや勉強会などに特別ご招待いたします。 ■開催日程 ・2019年7月20日（土）～21日（日） ・2019年8月3日（土）～4日（日） ■開催場所 六本木ヒルズ グリー本社 ■待遇 ・実習手当20,000円 ・本選考特別選考パス 6/1よりエントリー開始！ 皆さんのご応募をお待ちしております！！
- 48. Copyright © GREE, Inc. All Rights Reserved. GREE Jobs（3週間～） 実際の開発環境でグリーの社員や役員と席を並べて、実践に即した 知識やスキルを身につけることができる長期実践型インターンシップ。 ■募集コース ・ゲーム（Web/Native）事業 ・広告・メディア事業 ・XR（VR/AR/MR）事業 ・VTuber事業 ・インフラストラクチャ開発 ■開催場所 六本木ヒルズ グリー本社 ■待遇 ・時給1,000円～ ・本選考特別選考パス