如何用連登 data 訓練廣東話 chatbot (How to use data from a popular forum to train a Cantonese chatbot)
3 likes1,248 views
该文档描述了如何使用连登数据训练一个广东话聊天机器人，使用机器学习中的seq2seq模型来进行对话生成。通过从周星驰的电影和连登平台收集的数据，创建了一个训练数据集，包括超过1,700,000条对话。文档还提到了一些模型参数和如何使用9up bot API进行开发。
如何用連登 data 訓練廣東話 chatbot (How to use data from a popular forum to train a Cantonese chatbot)
- 4. ⻝⾷食咗飯未?? (?????) 我哋想做嘅係... 輸 ⼊入 輸 出 輸⼊入廣東話句句⼦子出⼀一句句廣東話句句⼦子
- 5. 但係點樣下⼿手?
- 6. Machine Learning ⽤用⼤大量量 廣東話 data 做地獄式訓練 seq2seq (sequence to sequence)
- 7. ⻝⾷食咗飯未?? ⼀一⿑齊⻝⾷食🤘 於是我哋⽤用咗 Tensor Flow implement ⼀一個 seq2seq framework 輸 出輸 ⼊入 seq2seq (sequence to sequence)
- 8. ⻝⾷食咗飯未?? ⻝⾷食 咗 飯 未?? ⼀一 ⿑齊 ⻝⾷食 🤘 ⼀一⿑齊⻝⾷食🤘 乜嘢係 seq2seq?
- 9. 仲有咩例例⼦子⽤用到 seq2seq? Google Translate Google Inbox Auto Reply Google Allo
- 10. 難題： 究竟有咩廣東話 data ? ( 仲要最好係對話 )
- 11. Data 1: 周星馳電影 19 套電影，約10萬條對話
- 12. 周星馳電影 對話 (例例⼦子) 唐僧 (Input)：做咩呀？ 悟空 (Output)：放⼿啊！ 悟空 (Input)：放⼿啊！ 唐僧 (Output)：你愛呀？你愛出聲⾄得架。你愛我會畀你。你唔愛我當然唔 畀你啦！無理由你話愛，我唔畀你，你唔愛我畀你架。⼤家講道理吖嘛！ 嗱，我數三下，你話愛唔愛喇噃。⼀……
- 13. Data 1: 周星馳電影 19 套電影，約10萬條對話 100,000 條對話其實太少 唔⾜足以訓練到有意義嘅對話
- 14. Again： 究竟有咩廣東話 data ? ( 仲要最好係對話 )
- 15. Data 2: 連登 爬取連登吹⽔水台 64,751個 post ， 只篩選有10個 reply 以上嘅post 剩下 18,290個
- 16. Data 2: 連登 18,290個 post 擷取超過1,700,000條對答 ⽤用program 分析所有post，選取「對答」data， 規則如下: 1. 如果有Quote Reply：⽤用reply做「輸⼊入」 2. 如果冇Quote Reply：⽤用原post title+內⽂文做「輸⼊入」 3. 如果原post太⻑⾧長，只會⽤用Title 做「輸⼊入」
- 17. 例例⼦子 以下係選取 training data 例例 ⾹香港係咪冇⼈人聽metal? 問⼗十個⾹香港⼈人都話metal係噪⾳音 metal同好 metal同好 咩類類型 輸⼊入 輸⼊入 輸出 輸出 有Quote Reply 冇Quote Reply, ⽤用原post title+內⽂文做「輸⼊入」
- 18. 結果
- 19. 點樣⽤用 9up bot API ? For developers
- 20. Model Parameters Summary Custom configurations • seq2seq model with attention • 5 layers encoder and decoder • vocabulary size: 63000 • state vector size: 256 • learning rate: 0.5 • learning decay factor: 0.99 • batch size: 64 • bucket sizes (encoder length, decoder length) • 10, 10 • 20, 30 • 40, 30 • 60, 30