分布あるいはモーメント間距離最小化に基づく統計的音声合成
7 likes1,942 views
ステアラボ人工知能セミナー招待講演 (2018/10/12)
![/47
日本人英語音声合成
9
[Oshima16]
従来法で生成
提案法で生成
学習に使用した音声
（大学生、ERJデータベースに含まれる男性話者のうち、
評定スコアが最低）
“I can see that knife now.”](https://image.slidesharecdn.com/slide-181013074646/85/-9-320.jpg)
![/47
多方言音声合成
11
[Akiyama18]
Dialect
text
Multi-dialect
speech
synthesis
Dialect speech
Miyazaki-ben
韻律と単語の教師なし獲得により地域性・話者性を分離した音声合成へ](https://image.slidesharecdn.com/slide-181013074646/85/-11-320.jpg)
![/47
フレーム分析と音声特徴量
音声の準定常性を仮定してフレーム分析
– 20~30ms程度であれば，音声は定常信号
17
Time
Freq.
F0 [Hz]
Time有声 無声
声帯が
周期的に振動
Speech
スペクトルとF0が
1フレームの特徴量](https://image.slidesharecdn.com/slide-181013074646/85/-17-320.jpg)
![/47
Generative Adversarial Network (GAN):
分布間距離の最小化
Generative adversarial network
– 分布間の近似 Jensen-Shannon divergence を最小化
– 合成器と，自然／合成音声を識別する識別器を敵対
26
𝒚
1: 自然
0: 生成
[Goodfellow et al., 2014.]
⋯
⋯
⋯
⋯
Text
+noise
Anti-spoofing
Text-to-speech](https://image.slidesharecdn.com/slide-181013074646/85/-26-320.jpg)
![/47
DNN音声合成のための敵対学習
27
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
Linguistic
feats.
Parameter
generation
𝐿G 𝒚, 𝒚
𝐿D,1 𝒚Feature
function 1: natural
⋯
𝒚 𝒚
Generated
speech
params.
Natural
speech
params.
𝐿 𝒚, 𝒚 = 𝐿G 𝒚, 𝒚 + 𝜔D 𝐿D,1 𝒚 を最小化
敵対的損失生成誤差
Text-to-speech
Anti-spoofing
[Saito et al., 2018.]](https://image.slidesharecdn.com/slide-181013074646/85/-27-320.jpg)
![/47
GANによる分布補償の効果
28
20th mel-cepstral coefficient
23rdmel-cepstral
coefficient
Natural MGE GAN
モーメントや分布を明示的に定義せずに分布を近づける
[Saito et al., 2018.]](https://image.slidesharecdn.com/slide-181013074646/85/-28-320.jpg)
![/47
GANs as various divergence minimization
29
KL-GAN [Nowozin16]
JS-GAN [Nowozin16]
RKL-GAN [Nowozin16]
GAN [Goodfellow14]
W-GAN [Arjovsky17]
LS-GAN [Mao17]
Kullback Leibler (KL) div.
Jensen-Shannon (JS) div.
Reversed KL div.
Approx. JS div.
Wasserstein div.
1 2 3 4 5
Mean opinion score on synthetic speech quality
[Saito et al., 2018.]](https://image.slidesharecdn.com/slide-181013074646/85/-29-320.jpg)
![/47
パラメトリック確率分布DNNとは
定義：パラメトリックな条件付き確率分布 𝑃 𝑦|𝑥 を持つDNN
– 負の対数尤度を最小化する，DNN学習時の損失関数 𝐿 ⋅
– 例)
𝑦 − 𝑦 2 → 分散 given の(等方性)ガウス分布DNN
− cos 𝑦 − 𝑦 → 集中度パラメータ given の von Mises分布DNN
本発表：正弦関数摂動一般化ハート分布
– 円周上の確率分布 (位相のような周期変数に対応)
– 一般化ハート分布 [Jones05] … von Mises 分布を一般化した対称分布
– 正弦関数摂動 [Abe11] … 円周上の分布の非対称化
34
𝑥 𝑦 𝑦𝐿 ⋅
[Takamichi18]
以降では，分布を導入してDNN学習時の損失関数を定義](https://image.slidesharecdn.com/slide-181013074646/85/-34-320.jpg)
![/47
正弦関数摂動一般化ハート分布
(sine-skewed generalized cardioid dist.)
35
𝑃 𝑦; 𝜇, 𝜅, 𝜓 =
cosh1/𝜓 𝜅𝜓 1 + tanh 𝜅𝜓 cos 𝑦 − 𝜇 1/𝜓
2𝜋𝑃1/𝜓 cosh 𝜅𝜓
平均 (mean) 集中度パラメータ (concentration param.)
[Jones05]
* 本稿では 𝜓をgiven (一定値) とした特殊形のみを扱う
von Mises (𝜓 = 0) Cardioid (𝜓 = 1)Wrapped Cauchy (𝜓 = −1)
𝑦
0 𝜋 2𝜋
𝜇
𝜅](https://image.slidesharecdn.com/slide-181013074646/85/-35-320.jpg)
![/47
正弦関数摂動一般化ハート分布
(sine-skewed generalized cardioid dist.)
36
𝑃 𝑦; 𝜇, 𝜆 = 𝑃circ 𝑦 ⋅ 1 + 𝜆 sin 𝑦 − 𝜇
摂動パラメータ (skewness param.)円周上の確率分布
[Abe11]
sine-skewed von Mises (𝜓 = 0, 𝜓 = [−1,1])
𝑦
0 𝜋 2𝜋](https://image.slidesharecdn.com/slide-181013074646/85/-36-320.jpg)
![/47
正弦関数摂動一般化ハート分布
(sine-skewed generalized cardioid dist.)
37
𝜓∞−∞ −1 10
von
Mises Cardioid
Wrapped
CauchyUniform Uniform
Generalized
cardioid
Sine-skewed
cardioid
1
−1
Sine-skewed
wrapped Cauchy
Sine-skewed
von Mises
Sine-skewed generalized cardioid
𝜆
𝑃 𝑦; 𝜇, 𝜅, 𝜓, 𝜆 =
cosh1/𝜓 𝜅𝜓 1 + tanh 𝜅𝜓 cos 𝑦 − 𝜇 1/𝜓 1 + 𝜆 sin 𝑦 − 𝜇
2𝜋𝑃1/𝜓 cosh 𝜅𝜓
[Abe11]](https://image.slidesharecdn.com/slide-181013074646/85/-37-320.jpg)
![/47
“Text”-to-speechを超える音声合成と
そのためのコーパス
42
音声による抽象化・具体化を利用した多元的情報の融合へ
JSUT
JSUT-songJSUT-vi
Singing voice (0.5 hrs)Vocal imitation (0.4 hrs)
Reading-style speech (10 hrs)
Single Japanese speaker’s voice
[new!] JSUT-book
Audiobook
[new!] JSUT-???
???
[Release in this winter]
[Takamichi18]
Jpn. E2E TTS
[Ueno18]
日本語End-to-end音声合成のサンプル音声は，京都大学 河原先生・上乃さまに提供して頂いた](https://image.slidesharecdn.com/slide-181013074646/85/-42-320.jpg)
![/47
一期一会音声合成
43
[Takamichi17]
「正しく喋る」から「正しく間違えて喋る」音声合成へ
Human
Noise
Current TTS
Noise
Our approach
今の音声合成は間違えてくれない…
– いつも同じ声・セリフ… → 人間はそうじゃない
– Moment matching network に基づく音声サンプリング [Takamichi17]](https://image.slidesharecdn.com/slide-181013074646/85/-43-320.jpg)
分布あるいはモーメント間距離最小化に基づく統計的音声合成
- 1. 06/12/2018©Shinnosuke Takamichi, The University of Tokyo 分布あるいはモーメント間距離最小化に基づく 統計的音声合成 東京大学 助教 高道 慎之介 (@forthshinji) ステアラボ人工知能セミナー招待講演 (2018/10/12)
- 2. /47 自己紹介 経歴 – 奈良先端大 博士後期課程 修了 (2016) – 東京大学 助教 (兼担：同大学 DMMラボ連携講座 特任助教) 研究テーマ – 音声合成変換 / speech synthesis, voice conversion – 音声信号処理 / speech signal processing – 音声なりすまし検出 / anti-spoofing – 深層学習 / deep learning – 音声コミュニケーション拡張 / augmented speech communication 2
- 3. /47 猿渡・小山研究室 3 猿渡 洋 (教授) ・音メディアシステム ・教師無し最適化 ・統計・機械学習論的 信号処理 特任研究員 高宗さん 秘書 丹治さん 博士課程学生2名 ・音響信号処理 ・音場再生・伝送 （音響ホログラフ） ・スパース信号処理 小山翔一 (講師) 高道慎之介 (助教) ・音声信号処理 ・統計的音声合成 ・声質変換 ・深層学習（DNN） ・音メディア信号処理 ・統計・機械学習論的 信号処理 ・音楽信号処理 修士課程学生４＋５名 柏野研学生１名 北村大地 (客員研究員) 香川高専
- 5. /47 テキスト音声合成と音声変換 テキスト音声合成 (Text-To-Speech: TTS) – テキストなどから音声を合成 – 人以外のモノのコミュニケーションのため 音声変換 (Voice Conversion: VC) – 言語情報を保持したままパラ言語・非言語情報を変換 – 人の発声制約を超えたコミュニケーションのため 5 Text TTS VC 統計モデルに基づく手法を統計的音声合成・変換と呼ぶ
- 7. デモ 7
- 9. /47 日本人英語音声合成 9 [Oshima16] 従来法で生成 提案法で生成 学習に使用した音声 （大学生、ERJデータベースに含まれる男性話者のうち、 評定スコアが最低） “I can see that knife now.”
- 13. /47 音声の持つ情報 13 言語情報 パラ言語情報 非言語情報 狭義の音声認識 (speech-to-text) 話者認識など (speaker recognition) 感情認識など (emotion recognition) テキスト化できる情報 話し手が意図的に付与する， テキスト化できない情報 (例：感情) 話し手の意図とは無関係に付与される， テキスト化できない情報（例：話者性）
- 14. /47 音声変換は何の情報を保持・変換する？ 例1：話者変換 (名探偵コナンの蝶ネクタイ型変声器) 例2：感情変換 例3：音韻変換 14 言語 パラ言語 非言語 言語 パラ言語 非言語 言語 パラ言語 非言語 言語 パラ言語 非言語 言語 パラ言語 非言語 言語 パラ言語 非言語 /a/ /i/
- 17. /47 フレーム分析と音声特徴量 音声の準定常性を仮定してフレーム分析 – 20~30ms程度であれば，音声は定常信号 17 Time Freq. F0 [Hz] Time有声 無声 声帯が 周期的に振動 Speech スペクトルとF0が 1フレームの特徴量
- 18. /47 Text-to-speechでの利用 18 テキスト特徴量 音声特徴量 t=1 t=2 t=T 当該音素 アクセント モーラ位置 時間位置 などなど a i u … 1 2 3 … 0 1 0 1 0 スペクトル (声色) F0 (音高) 有声・無声 テキスト DNN DNNは自然音声特徴量との二乗誤差を最小化するように学習
- 20. /47 生成パラメータの過剰な平滑化： 音質劣化の要因 統計モデリングにおける平均化により，自然音声パラメータに含 まれていた微細構造が消失すること．音質劣化の主要因 20 Time Natural speech parameters Time Synthetic speech parameters Speech parameter generation Acoustic modeling Training Synthesis 何が 違う？
- 21. /47 通常の音声パラメータ生成 21 Natural 𝒚 = argmax 𝑃 𝒚|𝒙 Generated x: context, y: speech params, P(): generative model 最尤推定による音声パラメータ生成 – 自然音声と合成音声で何かが違う… Time Spectralparameter
- 22. /47 系列内変動 (GV) とその補償 22Time Natural +GV Spectralparameter 𝒗(𝒚) Generated 𝒚 = argmax 𝑃 𝒚|𝒙 𝑃 𝒗 𝒚 𝜔 v(): global variance 系列内変動：音声パラメータの2次モーメント (分散) – GVモデルを用いた Product-of-Experts (PoEs) – 直感的に言えば「人間のように口を大きく開ける」制約
- 23. /47 変調スペクトル (MS)とその補償 23 𝒚 = argmax 𝑃 𝒚|𝒙 𝑃 𝒔 𝒚 𝜔 v(): modulation spectrum 変調スペクトル：音声パラメータのパワースペクトル – MSモデルを用いた Product-of-Experts (PoEs) – 直感的に言えば「人間の声の震えを再現する」制約 +MS Time Spectralparameter
- 26. /47 Generative Adversarial Network (GAN): 分布間距離の最小化 Generative adversarial network – 分布間の近似 Jensen-Shannon divergence を最小化 – 合成器と，自然／合成音声を識別する識別器を敵対 26 𝒚 1: 自然 0: 生成 [Goodfellow et al., 2014.] ⋯ ⋯ ⋯ ⋯ Text +noise Anti-spoofing Text-to-speech
- 27. /47 DNN音声合成のための敵対学習 27 ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ Linguistic feats. Parameter generation 𝐿G 𝒚, 𝒚 𝐿D,1 𝒚Feature function 1: natural ⋯ 𝒚 𝒚 Generated speech params. Natural speech params. 𝐿 𝒚, 𝒚 = 𝐿G 𝒚, 𝒚 + 𝜔D 𝐿D,1 𝒚 を最小化 敵対的損失生成誤差 Text-to-speech Anti-spoofing [Saito et al., 2018.]
- 28. /47 GANによる分布補償の効果 28 20th mel-cepstral coefficient 23rdmel-cepstral coefficient Natural MGE GAN モーメントや分布を明示的に定義せずに分布を近づける [Saito et al., 2018.]
- 29. /47 GANs as various divergence minimization 29 KL-GAN [Nowozin16] JS-GAN [Nowozin16] RKL-GAN [Nowozin16] GAN [Goodfellow14] W-GAN [Arjovsky17] LS-GAN [Mao17] Kullback Leibler (KL) div. Jensen-Shannon (JS) div. Reversed KL div. Approx. JS div. Wasserstein div. 1 2 3 4 5 Mean opinion score on synthetic speech quality [Saito et al., 2018.]
- 30. /47 別の観点から見たGAN 音声なりすまし検出セキュリティ(anti-spoofing) を騙す – Anti-spoofing: 音声合成・変換による「声のなりすまし」を検出 する識別器 – 「セキュリティを騙せば高品質化できるんじゃない？」 様々な音声特徴量に適用可能 – Vocoder features (spectral envelope, F0) – DFT features – Waveform 30 Anti-spoofing “I’m Chun-Li!” “I’m Chun-Li!” OK! NG!
- 34. /47 パラメトリック確率分布DNNとは 定義：パラメトリックな条件付き確率分布 𝑃 𝑦|𝑥 を持つDNN – 負の対数尤度を最小化する，DNN学習時の損失関数 𝐿 ⋅ – 例) 𝑦 − 𝑦 2 → 分散 given の(等方性)ガウス分布DNN − cos 𝑦 − 𝑦 → 集中度パラメータ given の von Mises分布DNN 本発表：正弦関数摂動一般化ハート分布 – 円周上の確率分布 (位相のような周期変数に対応) – 一般化ハート分布 [Jones05] … von Mises 分布を一般化した対称分布 – 正弦関数摂動 [Abe11] … 円周上の分布の非対称化 34 𝑥 𝑦 𝑦𝐿 ⋅ [Takamichi18] 以降では，分布を導入してDNN学習時の損失関数を定義
- 35. /47 正弦関数摂動一般化ハート分布 (sine-skewed generalized cardioid dist.) 35 𝑃 𝑦; 𝜇, 𝜅, 𝜓 = cosh1/𝜓 𝜅𝜓 1 + tanh 𝜅𝜓 cos 𝑦 − 𝜇 1/𝜓 2𝜋𝑃1/𝜓 cosh 𝜅𝜓 平均 (mean) 集中度パラメータ (concentration param.) [Jones05] * 本稿では 𝜓をgiven (一定値) とした特殊形のみを扱う von Mises (𝜓 = 0) Cardioid (𝜓 = 1)Wrapped Cauchy (𝜓 = −1) 𝑦 0 𝜋 2𝜋 𝜇 𝜅
- 36. /47 正弦関数摂動一般化ハート分布 (sine-skewed generalized cardioid dist.) 36 𝑃 𝑦; 𝜇, 𝜆 = 𝑃circ 𝑦 ⋅ 1 + 𝜆 sin 𝑦 − 𝜇 摂動パラメータ (skewness param.)円周上の確率分布 [Abe11] sine-skewed von Mises (𝜓 = 0, 𝜓 = [−1,1]) 𝑦 0 𝜋 2𝜋
- 37. /47 正弦関数摂動一般化ハート分布 (sine-skewed generalized cardioid dist.) 37 𝜓∞−∞ −1 10 von Mises Cardioid Wrapped CauchyUniform Uniform Generalized cardioid Sine-skewed cardioid 1 −1 Sine-skewed wrapped Cauchy Sine-skewed von Mises Sine-skewed generalized cardioid 𝜆 𝑃 𝑦; 𝜇, 𝜅, 𝜓, 𝜆 = cosh1/𝜓 𝜅𝜓 1 + tanh 𝜅𝜓 cos 𝑦 − 𝜇 1/𝜓 1 + 𝜆 sin 𝑦 − 𝜇 2𝜋𝑃1/𝜓 cosh 𝜅𝜓 [Abe11]
- 38. /47 正弦関数摂動一般化ハート分布DNNによる 群遅延推定 38 0 1 𝐹 Δ𝑦𝑡,∗ Group delay at frame 𝑡 𝐿GD gc ⋅ 𝜎 ⋅ × 𝛼 𝜅 (const.) 0 𝐹 𝜇 𝑡,∗ 𝜅 𝑡,∗ tanh ⋅ × 𝛼 𝜆 (const.) 𝜆 𝑡,∗ 𝐿GD ss ⋅Mean Concentration Skew Freq. index 各時間周波数の群遅延が当該分布に従うと仮定し， DNN学習時の損失関数 𝐿GD gc ⋅ と 𝐿GD ss ⋅ を次ページで定義 (一般化ハート由来) (正弦関数摂動由来) Ampli- tude
- 39. /47 DNN学習時の損失関数 正弦関数摂動巻込み Cauchy (sine-skewed wrapped Cauchy) 分布 DNN 正弦関数摂動 von Mises (sine-skewed von Mises) 分布 DNN 正弦関数摂動ハート (sine-skewed cardioid) 分布 DNN 39 𝐿 = − log 1 + 2𝜅 𝑡,𝑓 cos Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 − log 1 + 𝜆 𝑡,𝑓 sin Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 𝑓 𝐿 = log 1 + 𝜅 𝑡,𝑓 2 − 2𝜅 𝑡,𝑓 cos Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 1 − 𝜅 𝑡,𝑓 2 − log 1 + 𝜆 𝑡,𝑓 sin Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 𝑓 𝐿 = log 𝐼0 𝜅 𝑡,𝑓 − 𝜅 𝑡,𝑓 cos Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 − log 1 + 𝜆 𝑡,𝑓 sin Δ𝑦𝑡,𝑓 − 𝜇 𝑡,𝑓 𝑓 (一般化ハート由来) (正弦関数摂動由来) 𝐿GD gc ⋅ 𝐿GD ss ⋅ * * * ここでの𝜅 𝑡,𝑓は一般化ハート分布の𝜅 𝑡,𝑓と異なることに注意．論文を参照．
- 42. /47 “Text”-to-speechを超える音声合成と そのためのコーパス 42 音声による抽象化・具体化を利用した多元的情報の融合へ JSUT JSUT-songJSUT-vi Singing voice (0.5 hrs)Vocal imitation (0.4 hrs) Reading-style speech (10 hrs) Single Japanese speaker’s voice [new!] JSUT-book Audiobook [new!] JSUT-??? ??? [Release in this winter] [Takamichi18] Jpn. E2E TTS [Ueno18] 日本語End-to-end音声合成のサンプル音声は，京都大学 河原先生・上乃さまに提供して頂いた
- 43. /47 一期一会音声合成 43 [Takamichi17] 「正しく喋る」から「正しく間違えて喋る」音声合成へ Human Noise Current TTS Noise Our approach 今の音声合成は間違えてくれない… – いつも同じ声・セリフ… → 人間はそうじゃない – Moment matching network に基づく音声サンプリング [Takamichi17]
- 44. /47 感情音声合成から扇情音声合成へ 感情音声合成 – 計算機の所望した感情を合成音声に付与する技術 – 聞き手 (人間側)のことを何も考えていない 扇情音声合成 – 計算機の所望した「ユーザの感情」を起こす技術 – 人間の挙動を計算機ループに組み込んだ学習 – 計算機に気持ちよく操られたい – (名前募集中) 44 人間の音声の挙動を計算機ループに組み込んだ Human-in-the-loop 音声合成へ
- 45. /47 これからの音声合成まとめ 音声合成の役目は，音声を正確に出すこと？ – 答えはNo. (もちろん，正確に出すことも大事) 音声合成の役目は，音声コミュニケーションを拡張すること – 音声の芸術性を満たすには？(感性工学？) – 音声生成・聴取との関連？(物理学？) – セキュリティとの関連？(セキュリティ工学？) • 声の肖像権はどうあるべき？ – 人間を組み込んだ音声合成？ (ヒューマンコンピュテーション？) – IoA (Internet of Ability)としての音声合成？ • 身体・時空間・文化の多様性を認めつつ，それらを拡張できる？ 45
- 46. まとめ 46
- 47. /47 まとめ 統計的音声合成 敵対的学習の利用 方向統計DNN 今後の音声合成 47