![INTERNAL LANGUAGE MODEL TRAINING FOR
DOMAIN-ADAPTIVE END-TO-END SPEECH
RECOGNITION
[Zhong Meng et al. Microsoft Corp. ICASSP2021]
GitHub @emonosuke](https://image.slidesharecdn.com/ilmt-210707123327/85/INTERNAL-LANGUAGE-MODEL-TRAINING-FOR-DOMAIN-ADAPTIVE-END-TO-END-SPEECH-RECOGNITION-1-320.jpg)
![研究背景
言語モデルを用いた End-to-End 音声認識のドメイン適応.
Shallow Fusion
Density Ratio [McDermott, 2019]
を推論時に探索.](https://image.slidesharecdn.com/ilmt-210707123327/85/INTERNAL-LANGUAGE-MODEL-TRAINING-FOR-DOMAIN-ADAPTIVE-END-TO-END-SPEECH-RECOGNITION-2-320.jpg)
![提案法: Internal LM Training (ILMT)
Internal LM Estimation (ILME) [Meng, SLT2021]
Internal LM Training (ILMT) [Meng, proposed in this paper]
Density Ratio における
End-to-End 音声認識では音響モデル (AM) と言語モデル (LM) は不可分.
は AED では context vector を 0 にすることで得る. （RNN-T でも Encoder 出力の無視で得られる .）
従来のEnd-to-End 音声認識モデルの損失関数に Internal LM の損失関数を加え学習.
を推論時に探索.
“Internal LM”
ASRだけでなくInternal LM単体
としても機能させる](https://image.slidesharecdn.com/ilmt-210707123327/85/INTERNAL-LANGUAGE-MODEL-TRAINING-FOR-DOMAIN-ADAPTIVE-END-TO-END-SPEECH-RECOGNITION-3-320.jpg)
解説 - INTERNAL LANGUAGE MODEL TRAINING FOR DOMAIN-ADAPTIVE END-TO-END SPEECH RECOGNITION
- 1. INTERNAL LANGUAGE MODEL TRAINING FOR DOMAIN-ADAPTIVE END-TO-END SPEECH RECOGNITION [Zhong Meng et al. Microsoft Corp. ICASSP2021] GitHub @emonosuke
- 2. 研究背景 言語モデルを用いた End-to-End 音声認識のドメイン適応. Shallow Fusion Density Ratio [McDermott, 2019] を推論時に探索.
- 3. 提案法: Internal LM Training (ILMT) Internal LM Estimation (ILME) [Meng, SLT2021] Internal LM Training (ILMT) [Meng, proposed in this paper] Density Ratio における End-to-End 音声認識では音響モデル (AM) と言語モデル (LM) は不可分. は AED では context vector を 0 にすることで得る. （RNN-T でも Encoder 出力の無視で得られる .） 従来のEnd-to-End 音声認識モデルの損失関数に Internal LM の損失関数を加え学習. を推論時に探索. “Internal LM” ASRだけでなくInternal LM単体 としても機能させる
- 4. 評価実験 音声認識: Microsoft Service Data (30K hours) , 言語モデル: Librispeech text (800M words) で学習. → Librispeech clean test で評価. (= Cross-Domain Evaluation) (Source) (Target) 提案法 (ILMT) あり 提案法 (ILMT) なし ● Internal LM Training (ILMT) によって LMなし でも Internal LM (AED Decoder) の Perplexity が 796→46.1. + WER も 14.6%改善. ● AED だけでなく RNN-T でも同様の改善（元論文参照） ● ILMT の有無にかかわらず , WER 改善は Internal LM Estimation (ILME) > Density Ratio > Shallow Fusion. ● ILME（ILMTあり）は LM なしと比較して WER 57.6% ILME（ILMTなし）と比較して WER 25.1%改善. ILME（ILMTあり）は LMなしと比較して WER 40.9%, ILME（ILMTなし）と比較して WER 16.7%改善.