20170207 [cs hack] チャットbotの効果と未来
3 likes808 views
2017/2/7に開催された「CS HACK #01 ”チャットbot/サポートをHACKする！”」でのLT資料です。 https://cshack.connpass.com/event/49422/
20170207 [cs hack] チャットbotの効果と未来
- 2. 2 自己紹介 井上 健（いのうえ けん） freee株式会社 バックオフィスコンサルタント 2004年 株式会社ライブドアマーケティングに入社。 株式会社エヌ・ティ・ティ・ソルコを経て、2014年 同 社に参画。オペレーターからキャリアをスタートし て、CS一筋。チームづくり、業務ツール開発、採用・ トレーニングプログラムの構築など、CSオペレー ション全般に携わる。2017年1月リリースした、 チャットBOT（β版）の開発PLを担当。趣味は、「ユー ザーにとって本質的な価値があると自信を持って言 えるアクション」を悩み続けること。
- 4. 4 クラウド会計ソフト市場 マーケットシェア * （法人・個人） * デジタルインファクト調べ 有効事業所数は 65万事業所(前年比約2倍) を突破 会計・給与共にトップシェア クラウド給与ソフト市場 マーケットシェア* *MM総研調べ
- 5. 5
- 6. 6
- 9. 9
- 11. 営業時間外はメール対応へ 11
- 15. 15 チャット問合せ数（参考値）
- 16. 16 チャット問合せ数（参考値）
- 18. 18 23.9%！！！ （参考値） BOTに質問した回数：12,200件 回答のリンク遷移した回数：2,800件 ユーザーの回答利用率：23% チャットBOTが 正解 & 関連回答を提供する確率 “23%”とほぼ同じ
- 20. 20 プロジェクトで困ったこと
- 21. プロジェクト中に困ったこと ● 学習データが必要 ○ ユーザーの過去の問合せ履歴をjson形式に変換 ○ エージェントが利用したマクロを利用しよう ○ PJ開始2週間でプロトタイプができた！ 21 結果、なにを入力しても、 プロダクトの退会案内を表示。
- 22. 原因 ● エージェントはチームで用意したマクロを使わず、 GoogleKeepで各自カスタマイズした定型文を利用 ● カスタマイズしないマクロを使う場面は「退会」が過半数を占 めていた ● エージェントがユーザーに案内したfreeeヘルプページを回 答とする学習データを作成 ● さらに、エージェントからGoogleKeepデータをエクスポート して、チャットBOTを回答文に利用 22 解決
- 23. ほかにも、いろいろ困ったこと ● ユーザーに回答候補を複数表示するべきか？ ➢ ユーザーを迷子にさせない、回答は1つ！ ● サポート営業時間外の導線は？ ➢ メール問合せフォームへ！ ● ディープラーニングのみだと正解率が良くない ➢ 学習データはエージェントの発言部分や不要文言を削除 ➢ 特定ワードを設定して機械学習に組み込む ➢ 特定ワードとディープラーニングが競合しているか測定する ツールを作成 ● リリース直前 社内動作テスト課題45件 ➢ 90％以上対応 ➢ 1ヶ月でリリースするはずが、2ヶ月掛かる 23
- 24. 24 チャットBOTの未来
- 25. チャットBOTの近未来 25 ● 回答精度を23%→80％へ ○ 現実的な数字 ○ こつこつやれば必ず達成できる ● QA対応ではなく、本当のチャットBOTへ ○ 過去の質問も機械学習へ ○ ユーザーに回答候補をAB選択