CRIWARE 最新情報 ～UE4 Editor × ADX2で加速するサウンドデザイン～ / GTMF2019
0 likes836 views
Unreal Engine 4 対応版 CRIWARE がリリースされてから６年。 多くのユーザ様方の様々なニーズに応えて、CRIWARE は進化を続けてきました。 そして2019年現在も、ゲーム開発現場におけるサウンドデザインを加速するべく新機能を開発中です。 本セッションでは Unreal Engine 4 × CRIWARE の連携について基礎からお話しした上で、未公開の「サウンド空間デザイン機能」を紹介します。 プログラマー、デザイナー問わず、「CRIWARE は未経験」という方にもわかりやすく解説します！
CRIWARE 最新情報 ～UE4 Editor × ADX2で加速するサウンドデザイン～ / GTMF2019
- 1. 株式会社CRI・ミドルウェア CRIWARE 最新情報 ～UE4 Editor × ADX2で加速するサウンドデザイン～ 1 研究開発部 エンジニア 柴田 修作 上田 雄太
- 2. はじめに ゲーム機/スマートフォン向けミドルウェアの開発・サポートに従事。 Android における音声再生時遅延時間の推測機能の開発に携わった。 現在は主にUE4プラグインの開発サポートを担当。 2 登壇者のプロフィール 柴田 修作 （研究開発部 エンジニア） 学生時代には3Dディスプレイや触覚インターフェースの研究開発に 従事。CRIに入社後はCRIWAREのUE4 連携機能の強化やサポートを 行っている。 上田 雄太 （研究開発部 エンジニア）
- 3. （株）CRI・ミドルウェア 1990年 人工知能・CD・音声・映像技術の研究開発 1995年 セガサターン用ADX 2001年 マルチプラットフォーム展開を開始 2011年 iOS/Android版 CRIWARE 2012年 Unity 対応 2013年 Unreal Engine 4対応 2016年 ブラウザ版ADX2 リリース 2019年 STADIA 対応 3 音声・映像を専門としたミドルウェア開発会社 採用タイトル数 5,000 を突破 音 声 映 像
- 5. 本セッションの概要 1. サウンドミドルウェア CRI ADX2 の基礎知識 2. UE4 Editor × ADX2 連携機能 3. 現在開発中の新機能 6 UE4 Editor × ADX2で加速するサウンドデザイン
- 6. 7 株式会社CRI・ミドルウェア CRI ADX2 の基礎知識 研究開発部 エンジニア 柴田 修作
- 7. ADX2とは 8 サウンドデザインのワークフローを変えるMW • サウンドデザイナー：サウンド演出情報をADX2 データに埋め込む。プログラムレス • プログラマー：ADX2データをロードして音の制御命令を呼ぶ • ADX2は両者の分業を促進する！ 波形データ群 ADX2データADX2ツール CRIWARE UE4 Plugin プログラマー • 再生命令を書く • GUI操作で音を配置 サウンドデザイナー サウンド 素材作成 音（キュー）を デザイン CRI ADX2 .ACF .ACB .AWB .WAV .WAV .WAV .WAV .WAV
- 8. データ取り込み 9 ADX2データ サウンド波形、演出設定などが埋め込まれた独自形式のデータ • ACF はサウンド全体設定を保持 • ACB は複数のキュー情報を保持 ➢ 沢山のキュー(音声)をまとめたもの。必須。 ➢ キューシートとも呼ぶ ➢ レベル単位やキャラ単位などでシートを作るのが普通 • AWB はストリーミング用波形を保持 ➢ メモリにロードせずディスクから少しずつ読み出して再生 1st レベル用データ キャラX用データ 全レベル共通データ .ACF .ACF .ACB .AWB .ACB .AWB .ACB .AWB ゲーム全体
- 9. ADX2でできること 10 どんなサウンド制御・演出ができる？ できることは多種多様 • 発音数制御 • 音量制御 • 音声のグループ化 • ランダム再生 etc… 今回は下記２つを紹介 ① ミキサー機能 ② 3Dサウンド機能
- 10. ミキサー機能の紹介 11 ミキサー機能 • バス別にエフェクト設定。処理結果を合成して出力する • キューには Bus Send 値 (s1, s2 …)を設定。高いほどエフェクトが効く ADX2で再生する音声データは「ミキサー」のバスに流れ込む 入力 出力 キュー バス１：リバーブ バス２：ディレイ バス３：エコー ＋ ミキサー … s1 s2 s3
- 11. ミキサー機能の紹介 12 バスボリューム • バスボリューム値が高いほどエフェクトが強くなる（下図 va、vb、vc …） 各バスに設定する「バスの影響度」 キュー バス１：リバーブ (va) バス２：ディレイ (vb) バス３：エコー (vc) ＋ …
- 12. ミキサー機能の紹介 13 スナップショット (Snapshot) バス設定を保存しておいてゲーム実行中に切り替える バス１：リバーブ (1.0) バス２：ディレイ (0.5) バス３：エコー (0.7) ＋ … バス１：リバーブ (0.1) バス２：ディレイ (1.0) バス３：エコー (0.4) ＋ … Snapshot “Hoge” Snapshot “Fuga” 動的に切り替え • バスボリューム値などの設定セットを状況に応じて使い分け
- 13. ミキサー機能の紹介 14 例：マップ構造に合わせてエフェクトを変える 草原 洞窟 ボス部屋 音源にかかる リバーブの強さ リスナー 音源 ① 空間の境界を越えたら ② リバーブの強さを変えるCRIAPI を呼ぶ というコードを書く必要あり。
- 14. 3Dサウンド機能の紹介 15 3Dサウンド機能 ^o^ リスナー 3Dソース 右から聞こえるぞ～ 3D空間上の音の聞こえ方を再現 • 音源は3Dソース、聞き手はリスナー • リスナーの位置と向きに応じて聞こえ方が変わる １点の3D座標を 持つ「点音源」
- 16. ADX2でできること • ADX2では、1つの音声を「キュー」という単位で扱う • キューをミキサーに流してエフェクトをかける • エフェクトの強さバスのスナップショット (Snapshot) として保存 • 3Dサウンドは点音源。リスナーが離れると音量が距離減衰する 17 ここまでのまとめ
- 17. 18 株式会社CRI・ミドルウェア UE4 Editor × ADX2 連携機能 研究開発部 エンジニア 柴田 修作
- 18. ゲームエンジンとの連携 19 Unreal Engine 4 × ADX2 UE4 のインタフェースで ADX2 の各種機能を使用可能。 正式名称は「CRIWARE UE4 Plugin」 (2019年7月時点で最新は v1.27.00.01) UE4 Plugin の形で ADX2 機能を提供 PS4、XboxOne、Nintehdo Switch、Android、iOS をサポート マルチプラットフォーム対応
- 19. UE4 × ADX2 の基礎知識 20 File Explorer UE4 Editor ２回ドロッグ＆ドロップするだけ • 専用データ(ACF, ACB) を uasset 化 • 各キューは「AtomCueAsset」になる • UE4 Editor 操作だけで音源を配置 ADX2サウンドをレベルに配置するには？ ADX2 データを UE4 に取り込む .ACF .ACB
- 20. UE4 × ADX2 の基礎知識 21 補足：ADX2 データの更新をUE4に自動反映する ADX2ツールでリビルドすると、UE4が自動再インポートする • CRIWARE UE4 Plugin v1.27.00.00 以降で対応 (以前は手動再インポートのみ対応) • エディタ環境設定が必要 • ADX2データパスを指定 ADX2データに新しいSEや設定を追加・編集したら？
- 21. UE4 × ADX2 の基礎知識 22 ADX2データを UE4 で再生する 主にAtomComponent が担う。BP、C++ で命令発行 • 再生開始、停止、中断・再開 • ボリューム、ピッチ変更 • 時間指定フェード IN/OUT • 再生時刻の取得 • 再生キューの変更 • その他、インタラクティブサウンド用命令 音声コントロールのためのインタフェースは？ 多くの場面で AtomComponent に触れることになる
- 22. UE4 Editor × ADX2 連携機能（エフェクト編） 23 UE4 × ADX2 のサウンドエフェクト制御 BP、C++ で命令発行 • ミキサー設定の有効化・無効化 • スナップショットの切り替え • Bus Send 値（エフェクトの強さ）の変更 エフェクト制御のためのインタフェースは？
- 23. UE4 Editor × ADX2 連携機能（3Dサウンド編） 24 アニメーションに3Dサウンドを貼り付ける • 3D音源の位置を指定可能 • メッシュのボーンに配置 • メッシュの座標をフォロー • 再生開始～停止区間指定も可 • AtomPlayGate で検索！
- 24. UE4 Editor × ADX2 連携機能（3Dサウンド編） 25 3Dサウンドのデバッグ機能 • 色付きのワイヤー表示で可視化できる • 内部・外部の減衰距離をスフィアで表示 • コンソールコマンド “cri.ShowSoundLoacation 1” で 有効化 • キューごとに色分け設定も可能 (v1.27.00.00 以降)
- 25. UE4 Editor × ADX2 でできること • CRIWARE UE4 Plugin を使えば、UE4 上で ADX2 機能を使える • C++、Blueprint、GUI 操作に対応 • キューに 3Dサウンド情報 (減衰領域など) を設定して、アニメやレベルに配置 • 3D空間をリッチに彩るようなサウンドデザインをするには、まだ手間がかかりそう UE4 Editor × ADX2 の「サウンドの空間デザイン機能」で加速したい！ 26 ここまでのまとめ
- 28. UE4における空間デザイン • Landscape • Foliage • HoudiniなどDCCツールとの連携 29 3Dコンテンツの配置 UE4標準機能 UE4はプロシージャルにコンテンツを配置する機能が充実している。
- 29. UE4 におけるサウンド空間デザイン • サウンドそのものに空間情報を設定する機能 • SoundAttenuation（距離によるサウンドの減衰） • SoundConcurrency（距離による再生数制御） • サウンドの空間デザイン機能 • AudioVolume（空間に入った際のリバーブのOn/Off） 30 UE4標準のサウンドデザイン用機能 UE4標準機能
- 30. CRIWARE UE4 Pluginのサウンド空間デザイン 31 CRIWARE UE4 Plugin によるデザインワークフロー ADX2 ツール UE4 Editor + CRIWARE UE4 Plugin サウンド 素材作成 距離減衰のデザイン または再生数制御 デザインされた地形を基に サウンドの空間情報を設定 リバーブなどの エフェクト設定 地形に合わせるような細かいサウンドエフェクト設定は サウンドデザイナー、プログラマーの詳細なコミュニケーションが必要！！ プログラマーサウンドデザイナー
- 31. CRIWARE UE4 Plugin のサウンド空間デザイン • Volumeを用いた空間デザイン（New！！） 32 サウンド空間デザイン用の新機能 空間にサウンド情報を持たせる
- 32. CRIWARE UE4 Plugin のサウンド空間デザイン 33 空間デザインの新しいワークフロー Volume機能によりUE4のレベル上でサウンドの 空間デザインをデザイナーだけでも行える ADX2 ツール UE4 Editor + CRIWARE UE4 Plugin サウンド 素材作成 距離減衰のデザイン または再生数制御 デザインされた地形を基に サウンドの空間情報を設定 リバーブなどの エフェクト設定 プログラマーサウンドデザイナー
- 33. CRIWARE UE4 Pluginの新機能 1. サウンドに形状を持たせる • SoundShapeVolume 2. 空間に情報を持たせる • AtomAudioVolume 34 Volume 機能を用いたサウンド空間デザイン 追加した新しい Volume 機能の名称
- 35. SoundShapeVolume • 川などのサウンドデザイン • 例：点音源を川に配置。 • Sphere 形状の減衰距離を考慮し なければならない • 川の形状の減衰領域は再現不可 • 隙間を埋めるように沢山の音源 を配置することになる 36 川や池、森などの環境音 現状の CRIWARE UE4 Plugin でのデザイン 広い範囲を覆うサウンド 川の形状に音源を敷き詰めるのは大変……
- 36. SoundShapeVolume • 直感的な領域指定が可能になる • 少ない数の環境音で広範囲を覆える • 音の減衰領域を環境に沿った形でデザインできる 37 サウンドに形状を持たせる Volumeでサウンドの再生領域を指定する
- 37. SoundShapeVolume 38 SoundShapeVolume による減衰領域の指定 形状表現 サウンドの再生領域を Volume で定義。 Volume を川の形状に定義。 →少ないサウンドで川のサウンド表現が できるようになる。 →音の減衰領域を川の形状で表現できる
- 41. 領域の指定 1. モード → AtomSoundShapeVolumeを選び、レベル上に配置 2. モード →「ジオメトリ」から、適当なShapeVolumeを配置 ➢ 詳細パネル上のActor→「アクタを変換」から、AtomSoundShapeVolumeを選択 3. モード →「ジオメトリの編集」→「ペン」から、レベル上にブラシオブジェクトを作成 ➢ 詳細パネル上のActor →「アクタを変換」から、AtomSoundShapeVolumeを選択 42 UE4 Editor での SoundShapeVolume の配置 SoundShapeVolume の配置手順
- 45. 環境の切り替わりをサウンドで自然に表現する • Collision を用意して、Collision に入ったらサウンドエフェクトを On、出 たら Offにする → UE4 標準機能の AudioVolumeの機能でエフェクトの切り替えを行える UE4 標準だと切り替わりはトリガー的な変化となる (不連続的) → CRIWARE も ADX2 に特化した形で AudioVolume を拡張（New） 46 領域の切り替わりの検出 検出方法
- 46. AudioVolume 機能の拡張 • ミキサーのエフェクト設定の Snapshot 切り替え 47 ADX2 に特化した AudioVolume リスナーの AudioVolume への侵入タイミングの検出 • AudioVolume 内にある 3D音源 の BusSend を変更できる • リスナーが Volume 内にいる場合に適用するBusSend を設定できる • リスナーが Volume 外に出た際に適用するBusSend も設定できる • 侵入・侵出距離を判定する領域をVolumeで限定できる リスナーの AudioVolume への侵入・侵出距離の検出
- 47. AtomAudioVolume • ミキサーの Snapshot 設定 • キューの BusSend 設定 • AtomAudioVolume をレベル上に配置 • AtomAudioVolume へのエフェクト切り替え・遷移設定 48 AtomAudioVolume ワークフロー CRI Atom Craft での設定 UE4上での設定
- 51. AtomAudioVolume • レベル全体にかかる AtomAudioVolume を配置 • 電車のみにかかる AtomAudioVolume を配置 • 電車の入り口（Entrance）部分を指定 52 UE4上での環境変化の検出までの手順 電車の乗降におけるエフェクトを切り替えをデザイン (1) エフェクト適用領域の指定 (2) AtomAudioVolume に電車の内外の状況に応じたパラメータを設定 • Snapshot の切り替え設定 • リスナーが領域内部に入った際に適用するパラメータの設定 • リスナーが領域外部に出た際に適用するパラメータの設定
- 52. 現在開発中の新機能 • 開発中の新機能で「サウンドの空間デザイン」を加速！ ➢ SoundShapeVolume：3D音源の形状(減衰領域)を自由にデザイン ➢ AtomAudioVolume：3D空間にサウンド演出情報を与える • まだまだ開発は途中。年内のリリースを予定 • 新機能についてご意見・ご質問のある方はお気軽に 53 ここまでのまとめ
- 53. おわりに • 展示ブースにてデモ公開中 ➢ SoundShapeVolume、AtomAudioVolume(開発中) ➢ リアルタイムな口パク生成ミドルウェア(開発中) ➢ ご意見、ご質問は大歓迎！ • 「CRIWARE for Games」に是非アクセス！ ➢ https://game.criware.jp/ ➢ CRIWARE チュートリアル、マニュアル、用語集 ➢ 採用事例インタビューも掲載中 54 その他の情報を知りたい方は……