Tokyo BISH bash presentation
- 3. 目次 1. そもそも声の生体認証技術とは 2. 話者照合技術の紹介 3. なりすまし音声攻撃と検出 3
- 5. 生体認証（バイオメトリクス） 本人認証に生体情報（テンプレート）を用いた認証技術 誰もが持っている特徴 全員が異なる特徴 実用化例 5 生体認証という観点での音声 センサ 受容性 導入コスト 問題点 指紋 静電容量形 感圧式、光学式 中 （高？） 安 乾燥指、水濡れの影響 特徴量の互換性 顔 CCDカメラ 高 中 化粧、メガネ、照明 加齢、双生児 虹彩 CCDカメラ 中 高 まつ毛の影響、装置 静脈 赤外線CCDカメラ 中 中 装置 音声 マイクロホン 高 安 体調、双生児、経時変化 他にもDNAや署名、掌形など 身体的 特徴 行動的特徴
- 6. 音声の認識タスクのカテゴリー分け 7 話者認識 （Speaker recognition） 話している人に関するタスク 話者照合（Speaker verification） 話者識別（Speaker identification） 声を使った認識タスク 音声認識 （Speech recognition） 話している内容に関するタスク not Aさん 登録されている誰かから一番近い人を選択 声の生体認証＝話者照合 Aさん（登録者） 2値分類 ・・・ Aさん Bさん Zさん
- 8. テキスト依存型（text-dependent） 登録と照合で同じ発話内容を使用 音声対話の普及で重要度が向上 音声認識との組み合わせ手法も多い テキスト指定型（text-prompted） 発話内容をシステムから提示（指定） 依存型と独立型の中間 テキスト独立型（text-independent） 登録と照合で発話内容は指定や限定をしない 話者認識の世界的なコンペィションでのタスク 音声合成や話者ダイアリゼーションなど他タスクとの組み合わせにも活用 9 話者照合タスクの分類 高 低 安全性 手軽さ 低 高 Clova Alexa Wake up ワードのイメージ XXXと話してください XXX
- 9. 話者照合技術の紹介 11
- 10. 話者照合技術の最近の考え方 話者照合でやりたいこと 登録データとクエリがどれくらいにているか（類似度） 考えないといけないこと 何人くらいを識別可能なのか どれくらいの精度なのか 実現するために 話者を表現するためのベクトルを用いる SVM-GMM, i-vector, JFA, x-vector 13
- 11. x-vectorを用いた話者照合(D. Snyder; 2018) 学習部 学習データ … … … 大量の話者を識別可能なネットワーク （話者識別） 大量の話者を識別するための 話者性を埋め込まれた層 ＝ 話者情報埋め込みベクトル 14
- 13. どのようなシステムが適切か もちろん本人を受理し、他人を拒否してくれるシステム 本人を拒否する確率: False rejection rate (FRR) 他人を受け入れる確率: False acceptance rate (FAR) 等価エラー率（Equal Error Rate） FARとFRRが等しくなる点 FARとFRRはトレードオフの関係 = どちらも低くなることが理想 MinDCF（Minimum Detection Cost Function) EERと合わせて表示することが多い 本人棄却誤り（FRR）より他人受理誤り（FAR）に大きい重みを課す NIST SRE（話者認識のコンペティション）で採用 年度により重みが変更 16 性能評価について 閾値 エラー率 EER
- 14. ベースラインを作りたい！ Kaldi ASR（ツールキット）とVoxCeleb（データベース）で実現可能 Kaldiの中に各データベース毎のレシピが公開 i-vector（以前のSOTA） x-vector（現在のSOTA） SiTWというデータベースも主流 現状 話者埋め込みの方法や特徴量の検討などの発表が多数 注意機構やRaw音声を使うネットワークなども 学習データ量や発話長など実用化に向けた難しいタスクも 17
- 15. なりすまし音声攻撃と検出 18
- 16. 話者照合の普及の期待が高まってきている! でも世の中は悪い人もいる… セキュリティに関わるものはより慎重に設計すべし 話者照合へのなりすまし攻撃の種類 ものまね ⇒ 音響的特徴の不一致 音声再生 ⇒ テキスト非依存型で対応可能 ⇒ でもWake upワードでやりたい… 音声合成 声質変換 背景 19
- 17. ① センサへの偽の身体情報の提示 ② 蓄積された身体情報の再入力 ③ 特徴抽出処理の置き換え ④ 身体特徴を示す情報の不正変換 ⑤ 照合処理への攻撃 ⑥ 蓄積されたテンプレートの改ざん 生体認証システムの構成と攻撃箇所（1/2） 登録部 照合部 登録DB 閾値 照合判定 身体情報 データ 入力 前処理＋特徴抽出 判定ポリシー 身体情報 データ 入力 前処理＋特徴抽出 ① ② ③ ④ ⑤ ⑥ データの暗号化や 電子透かしなどデータの 経路や保管場所の安全性を 確保することで対処 20
- 18. ① センサへの偽の身体情報の提示（Physical Access; PA） データ入力部がマイク 録音再生攻撃（音声合成や声質変換を含む） ② センサを介さずに情報を直接入力（Logical Access; LA） 特に音声合成や声質変換を想定 生体認証システムの構成と攻撃箇所（2/2） 登録部 照合部 登録DB 閾値 照合判定 身体情報 データ 入力 前処理＋特徴抽出 判定ポリシー 身体情報 データ 入力 前処理＋特徴抽出 ① ② ③ ④ ⑤ ⑥ 21
- 19. なりすまし攻撃検出のコンペティション ASVspoof 2015〜2021への変動（隔年開催） 2015年: 声質変換や音声合成による攻撃（LA） 2017年: 録音再生による攻撃（PA） 2019年: LA & PA （ただしPAはシミュレーション） 2021年: LA & PA & Deep fake 録音再生 収録 PA 合成音声入力 LA なりすまし検出 話者照合 受理 棄却 22
- 20. なりすまし攻撃への対処 For PA 録音再生の工程で発生する歪みに着目 録音、再生、再収録と工程が多くデータを十分に用意することが難しい シミュレーションによって機械学習可能なデータ量に ただし、シミュレーションは再現をできているのか…？ 攻撃のバリエーションは少ないが収録環境のバリエーションが多い For LA 合成音声特有の不連続性などに着目 データが作りやすいため機械学習が可能なデータ量を用意可能 機械学習ベースの手法 攻撃のバリエーションが多いが収録環境の影響は少ない 23
- 21. 課題 データの問題 ASVspoofのchallegeで公開されている以外の公開データがない データの整備、シミュレーションの調整 言語依存性など他の要素も取り除けていない モデルに対する信頼性 評価の問題 システム単体の性能 ASVシステムとの連結を前提とした性能 まだまだ考えるべきことがたくさんある分野！ 24
- 22. Thank you！ 26