![モデル学習
基本的には普通に学習
Quantization Aware Training[1]を行った
UINT8への量子化による
精度劣化を防ぐ
※ただし学習時の計算コストは上がる
[1] https://arxiv.org/abs/1712.05877](https://image.slidesharecdn.com/mlct528-200528121212/85/MLCT-12-11-320.jpg)
MLCT#12 使われる機能目指して 測ったり試したり
- 2. whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari ● OSS活動: ○ Kubeflow katib (owner) ○ Docker infrakit (maintainer) ● Github: YujiOshima ● Twitter: @overs_5121
- 3. whoami 大嶋 悠司 Tech Lead of EdgeAI team in Mercari ● OSS活動: ○ Kubeflow katib (owner) ○ Docker infrakit (maintainer) ● Github: YujiOshima ● Twitter: @overs_5121 今日はEdgeAI技術を使ったアプリについてお話します！
- 5. 何ができるのか 何かしらリッチな サーバ > 500m sec < 50m sec ● モデルサイズ ● 消費電力 の制限
- 7. Machine Learning on Mobile
- 11. モデル学習 基本的には普通に学習 Quantization Aware Training[1]を行った UINT8への量子化による 精度劣化を防ぐ ※ただし学習時の計算コストは上がる [1] https://arxiv.org/abs/1712.05877
- 13. モデルサイズと推論速度 モデルサイズ >> 100MB 推論速度 >> 100m sec 推論速度 < 50 msec モデルサイズ < 10MB
- 14. TF Liteの変換オプション ● FLOAT32 ○ CPUやGPUでモデルを学習・推論するときと同じ ● FLOAT16 ○ 重みを単精度で表現することで軽量化 ● Weight only quantization (UINT8) ○ 重みをUINT8量子化 ● Full quantization (UINT8) ○ 重みと活性化関数を量子化
- 15. 変換オプションによるサイズと速度 weight onlyで目標のlatencyは達成できるためweight only quantを選択 File size latency FLOAT32 ☓ △ FLOAT16 △ △ weight only quant ◎ △ full quant ◯ ◎
- 17. FT Lite + delegation TF LiteはAndroid, iOSそれぞれにruntimeを用意 更にdelegationを用いてパフォーマンスを向上 ● GPU ● CoreML ● Hexagon DSP ● XNNPack 今回はdelegationなしで十分なパフォーマンス 今後やってきます！
- 18. 完成！！！
- 19. お疲れさまでした！！！！！
- 23. モデルの問題か？ ● モデルの精度は？ ○ メルカリの出品画像をテスト画像&Quantize後のモデルで検証 ○ 90%近い Precision が出ている ○ 恐らくはモデルの精度頑張るフェーズではない ● モデルのlatencyは？ ○ それなりに古い端末でも 30 msec前後で動いている ○ それほど体験を毀損しないのでは？
- 24. 結果 User Interface ● 表示時間 ○ あんまり長いと邪魔だろう．．．4秒くらいかなあ（感覚） ○ 短すぎたのでは？
- 25. 各秒数でタップしたユーザ数 4 sec 表示 8 sec 表示 SEC 表示時間
- 26. 各秒数でタップしたユーザ数 4 sec 表示 8 sec 表示 SEC 表示時間 延ばしたほうが良さそう
- 27. デザイン 仮説：お客様は文言をしっかり読んでいる（そして伝わってない） お客様とのインタラクションは十分か ● 文言 ○ そもそもバーコード出品が何かわからないのでは？ ● デザイン ○ 使用するが押せると思わないのでは？
- 28. デザイン改善
- 29. デザイン改善
- 30. デザイン改善
- 32. UXを考えていく
- 33. 拡張： ● ユーザがタスクを楽しんでいる ● 責任を伴う ● タスクに対してvisionがある 自動化 vs 拡張 自動化が可能なタスクであっても，ユーザがそれを望まないことがある その場合ユーザの能力を「拡張」するようなUIがよい 自動化： ● ユーザにタスクができない ● タスクが退屈で繰り返される https://pair.withgoogle.com/
- 35. 拡張の例: Mercari IME 商品タイトルや詳細に使われそうな単 語をIMEの形でサジェスト 商品出品は ● 責任を伴う ● お客様がVisionを持つ タスク
- 36. 拡張の例: Mercari IME 商品タイトルや詳細に使われそうな単 語をIMEの形でサジェスト 商品出品は ● 責任を伴う ● ユーザがVisionを持つ タスク 今後どこかで話します！