話者V2S攻撃： 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
0 likes1,219 views
コンピュータセキュリティシンポジウム2019 敵対的視点とユーザ行動 2E1-2
![/15
研究背景：音声による個人認証システムと
システムへの攻撃
話者認証：音声により登録済みユーザを特定する生体認証 [Dehak11]
– ユーザ負担が小さく，スマートスピーカなどで利用 [Prabhavalkar15]
– 更なる普及を見据え，音声なりすまし攻撃に利用される可能性あり
話者V2S攻撃：話者認証を用いた音声なりすまし攻撃
– 認証システムが攻撃者により暴露された場合に，登録済みユーザの
音声を人工的に復元する攻撃 (すなわち Verification-to-Synthesis)
– 本稿では，声質変換技術を用いた攻撃法を議論
声質変換 (音声変換)：データドリブンのボイスチェンジャ [Toda07]
– 事前収録音声を用いて，音声の声色を特定の他者の声色に変換
– 近年では，深層学習 (DNN) に基づく変換技術も登場 (次ページ)
2](https://image.slidesharecdn.com/slide-191022011613/85/V2S-2-320.jpg)
![/15
リアルタイムDNN音声変換
3
https://www.youtube.com/watch?v=P9rGqoYnfCg
[Arakawa19]](https://image.slidesharecdn.com/slide-191022011613/85/V2S-3-320.jpg)
![/15
通常の声質変換
6
攻撃者
こんにちは
はじめまして
攻撃対象話者
こんにちは
はじめまして
対応関係を学習
変換して！ 変換して！
あらゆる発話を変換可能
パラレル (同一内容) 発話に基づく方法 (上図) [Toda07]
– 攻撃者は，攻撃対象話者の音声と同じセリフを発話・収録
ノンパラレル (非同一内容) 発話に基づく方法 [Saito18]
– 攻撃者は，自身のあらゆる発話を利用可能．少量の発話でも良い．
学習時
声質変換時](https://image.slidesharecdn.com/slide-191022011613/85/V2S-6-320.jpg)
![/15
考察
従来の音声なりすまし研究との比較
– 従来：話者認証を騙す人工音声の合成が目的 [Wu13]
– 本研究：話者認証を騙すことによる個人性復元が目的
敵対的攻撃 (adversarial attack) [Goodfellow14] との目的の違い
– 敵対的攻撃：認識モデルを誤認識させるデータを生成
– 本研究：認識モデルから攻撃対象の属性 (本稿では話者性) を復元
より現実的な設定に向けた要素
– 本稿で無視した伝達経路（波形生成・空間伝達・音声分析）の考慮
– ブラックボックス話者認証への攻撃手段
11](https://image.slidesharecdn.com/slide-191022011613/85/V2S-11-320.jpg)
話者V2S攻撃： 話者認証から構築される 声質変換とその音声なりすまし可能性の評価
- 1. 10/22/2019©Shinnosuke Takamichi, The University of Tokyo 話者V2S攻撃：話者認証から構築される 声質変換とその音声なりすまし可能性の評価 中村 泰貴*1, 齋藤 佑樹*1, 高道 慎之介*1, 井島 勇祐*2, 猿渡 洋*1 (*1: 東京大学，*2: NTT) コンピュータセキュリティシンポジウム2019 敵対的視点とユーザ行動 2E1-2
- 2. /15 研究背景：音声による個人認証システムと システムへの攻撃 話者認証：音声により登録済みユーザを特定する生体認証 [Dehak11] – ユーザ負担が小さく，スマートスピーカなどで利用 [Prabhavalkar15] – 更なる普及を見据え，音声なりすまし攻撃に利用される可能性あり 話者V2S攻撃：話者認証を用いた音声なりすまし攻撃 – 認証システムが攻撃者により暴露された場合に，登録済みユーザの 音声を人工的に復元する攻撃 (すなわち Verification-to-Synthesis) – 本稿では，声質変換技術を用いた攻撃法を議論 声質変換 (音声変換)：データドリブンのボイスチェンジャ [Toda07] – 事前収録音声を用いて，音声の声色を特定の他者の声色に変換 – 近年では，深層学習 (DNN) に基づく変換技術も登場 (次ページ) 2
- 4. /15 本発表の概要 声質変換を用いた話者V2S攻撃 – 認証システムに音声は保存されないため，通常の声質変換は不可能 – 本発表では，音声ではなく話者認証から学習される声質変換を提案 4V2Sの話者再現度は，少量の音声を用いる通常の声質変換と同程度 音声なりすまし 変換 声質変換 声質変換を用いた話者V2S攻撃 音声で個人認証 攻撃者 攻撃対象話者 (話者認証に 登録済み) 話者認証を暴露 変換
- 6. /15 通常の声質変換 6 攻撃者 こんにちは はじめまして 攻撃対象話者 こんにちは はじめまして 対応関係を学習 変換して！ 変換して！ あらゆる発話を変換可能 パラレル (同一内容) 発話に基づく方法 (上図) [Toda07] – 攻撃者は，攻撃対象話者の音声と同じセリフを発話・収録 ノンパラレル (非同一内容) 発話に基づく方法 [Saito18] – 攻撃者は，自身のあらゆる発話を利用可能．少量の発話でも良い． 学習時 声質変換時
- 8. /15 攻撃の設定と提案アルゴリズム 設定①：話者認証・声質変換モデルはDNNで記述 – Backpropagation による学習を行うため 設定②：話者認証システムはホワイトボックス – モデルのDNN構造と話者ラベルは，攻撃者にとって既知 – やや非現実的だが，話者V2S攻撃の性能限界を知る上で重要 アルゴリズム：話者認証と音声認識を利用した声質変換の学習 – 話者認証は話者性のみを評価するため，話者認証の利用だけでは， 変換音声の音韻性 (発話内容) が消失 – そこで，攻撃者は音韻性を評価する音声認識も利用して学習 8
- 10. /15 V2S攻撃における声質変換の学習 10 Loss = SoftmaxCrossEntropy + 𝜔 ⋅ MeanSquaredError 変換側(攻撃側) 認証側 攻撃対象話者の 話者ラベル 話者認証モデル Mean squared error 声質変換モデル 音声認識 モデル 音素事後確率 Softmax cross-entropy 変換前後で音韻性を保存 攻撃対象話者の話者性を復元 攻撃者の 音声特徴量 weight
- 11. /15 考察 従来の音声なりすまし研究との比較 – 従来：話者認証を騙す人工音声の合成が目的 [Wu13] – 本研究：話者認証を騙すことによる個人性復元が目的 敵対的攻撃 (adversarial attack) [Goodfellow14] との目的の違い – 敵対的攻撃：認識モデルを誤認識させるデータを生成 – 本研究：認識モデルから攻撃対象の属性 (本稿では話者性) を復元 より現実的な設定に向けた要素 – 本稿で無視した伝達経路（波形生成・空間伝達・音声分析）の考慮 – ブラックボックス話者認証への攻撃手段 11
- 12. 実験的評価 12
- 13. /15 実験条件 13 条件 値・設定 攻撃者 男性1名 攻撃対象話者 男2名・女2名．本発表では男性の結果のみ表示． DNN構造 声質変換・話者認識・話者認証ともに Feed-forward DNN (詳細は原稿参照) 登録済みユーザ数 260 (攻撃対象話者4名を含む) 比較手法 ①通常の声質変換 (パラレル5, 10, 30発話で学習) ②通常の声質変換 (ノンパラレル25発話で学習) ③話者V2S (200発話で学習) 各手法で生成される音声の自然性と話者再現度 (攻撃対象話者の話者らしさをどの程度再現できるか) を主観的に評価
- 14. /15 自然性・話者再現性における比較 (評価者は40名．スコアが高いほど良い) 14 話者V2S攻撃の話者再現度は， パラレル5発話を用いる通常の声質変換と同程度 手法A スコア 手法B パラレル5発話 0.388 vs. 0.612 V2S パラレル10発話 0.475 vs. 0.525 パラレル30発話 0.458 vs. 0.542 ノンパラレル 0.598 vs. 0.402 自然性に関するプリファレンスABテスト 手法A スコア 手法B パラレル5発話 0.530 vs. 0.470 V2S パラレル10発話 0.615 vs. 0.385 パラレル30発話 0.675 vs. 0.325 ノンパラレル 0.660 vs. 0.340 話者再現度に関するプリファレンスXABテスト * 太字は p値 < 0.05 で優れた手法
- 15. /15 まとめ 新たな音声なりすまし攻撃を提案・評価 – 話者V2S攻撃：話者認識から登録済みユーザの声を復元 – 音声データなしから声質変換を学習 評価結果 – 少量の音声データを用いる通常の声質変換と同程度の性能 今後の予定 – 多数話者の事前収録音声を用いた攻撃法 – 話者V2S攻撃に対する防御法 15