ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
Download as PPTX, PDF0 likes715 views
2019年6月2日の「ICLR'19 読み会in京都」でのLT 資料です。 https://connpass.com/event/127970/ QA4AIはこちらです。 http://www.qa4ai.jp
ICLR'19 読み会 in 京都 [LT枠] AIプロダクト品質保証ガイドラインの紹介
- 1. 「AIプロダクト品質保証ガイドライン」 のご紹介: 1 http://www.qa4ai.jp/download/ For ICLR 2019 読み会 in 京都 https://connpass.com/event/127970/ 機械学習技術を利用する製品やシステムの「品質保証」をどうするか。 産官学でオープンに議論し成果を出す場がQA4AIコンソーシアム。
- 3. メンバー（39名+3組織） • 青木 利晃（北陸先端科学技術大学院大学） • 池田 裕則（東芝インフラシステムズ） • 石川 冬樹（国立情報学研究所、運営副委員長） • 伊藤 宏幸（LINE） • 猪又 憲治（三菱電機） • 今井 健男（Idein） • 梅津 良昭（リコー） • 遠藤 征樹（日立産業制御ソリューションズ） • 大西 秀一（ヴィッツ） • 小川 秀人（日立製作所、運営副委員長） • 荻野 恒太郎（楽天） • 長田 健一（日立オートモティブシステムズ） • 柏 良輔（横河電機） • 岸 知二（早稲田大学） • 鬼頭 正広（アイシン・コムクルーズ） • 窪田 邦夫（カルソニックカンセイ） • 久連石 圭（東芝） • 黒田 園子（パナソニック） • 榊原 彰（日本マイクロソフト） • 佐藤 孝司（NEC、運営委員） • 島田 さつき（富士通クォリティラボ） • 鈴木 万治（DENSO International America） • 鈴木 里惇（LINE） • 妹尾 義樹（国立産業技術総合研究所） • 田口 研治（CAV Technologies） • 土屋 知典（富士通） • 徳 隆宏（オムロン、運営委員） • 徳本 晋（富士通研究所） • 西 康晴（電気通信大学、運営委員長） • 濱田 晃一（DeNA、運営委員） • 日置 智之（シナモン） • 藤井 岳（シナモン） • 誉田 直美（NEC） • 増田 聡（日本IBM） • 町田 欣史（NTTデータ） • 松原 修（富士通北陸システムズ） • 松谷 峰生（LIFULL、運営委員） • 光本 直樹（デンソー、運営委員） • 鷲崎 弘宜（早稲田大学） • 宇宙航空研究開発機構(JAXA) 研究開発部門第三研究ユニット • ソフトウェアテスト技術振興協会(ASTER) • 日本科学技術連盟(JUSE) （以上五十音順、敬称略、2019年5月17日現在） 3
- 4. QA4AI ガイドライン 2019.05 版 • 品質保証活動の考え方 （５つの軸） • 品質保証技術のカタログ • 品質保証技術のドメインごとの検討結果 • コンテンツ生成 • スマートスピーカー • 産業システム • 自動運転 4
- 5. 5つの軸とバランス • 5つのちゃんと軸と、そのバランスのとり方を説明しています • ちゃんとデータとれてる？ Data Integrity • ちゃんとモデル作って確かめた？ Model Robustness • ちゃんと対話して軌道修正できる？ Process Agility • ちゃんとお客さんと話してる？ Customer Expectation • システムのちゃんと基準を満たせそう？ System Quality 5 Customer Expectation System Quality Process Agility Model Robustness Data Integrity
- 6. 品質保証技術のカタログ（一例） • AIプロダクト固有の品質特性 • 教師あり学習のモデルに対する性能指標 • 適合率・精度、再現率、F値、ROC曲線におけるAUC、平均二乗誤差、決定係数 • 汎化性能、過学習・未学習 • 交差検証 • データに対する評価 • 規則性（傾向、分布）、訓練データと運用データの違い、 • ISO/IEC 25012 (JIS X 25012）データ品質モデル • 頑健性 • 説明可能性 • 機械学習を用いたシステム全体における品質 などなど 6
- 7. コンテンツ生成 • 対象となる生成系システムの品質特性を評価する技術アプローチを検討した • 例：自然さ、鮮明さ、多様さ • 生成対象の画像・動画での学習済識別モデルを用い、識別結果分布・特徴量分布を用いて評価する • Inception Score、Fréchet Inception Distance • 例：動画のなめらかさ • 画像間のOptical Flowの統計値を評価する • 例：構造系列としての自然さ • 身体構造上接続している器官点間の相対距離の変化量を数値化し評価する。 • 例：自然さ、鮮明さ • GANs学習により、本物のデータであるかを判別する識別器を構築できる • Webからイラストを収集し、崩れやノイズを付加することにより不自然な画像や動画のデータを作ることで、 品質評価AIを構築することができる。 • 例：社会的適切さ • 検索エンジンで用いられている社会的に不適切なデータを識別するAIを用いることができる
- 10. 自動運転 • 自動運転の課題や対応案をまとめた。 • ドライバや社会は自動運転によって事故が低減することを期待する • 開発時には想定できない様々な状況で使われる可能性がある • ミッションクリティカル性が高く、かつ自律性が高い • 組み込み製品である • 課題①：未学習データに対してDNNが予測不能の挙動をする危惧がある • しかし、運用時のあらゆるユースケースを網羅したデータセットの準備は不可能であり、 学習の網羅性、評価の網羅性の確保が困難である • 課題②：正しく学習されていたとしても誤認識・未認識が避けられないという危惧がある • しかしこれにより車の安心安全機能を損なってはならない • 課題③：市場投入後の世の中の変化にDNNが対応できなくなるという危惧がある • 例えば歩行者のファッション、車両の形状、交通状況などが市場投入の前後で大きく変わる可能性があり、 これら変化に対応しなければならない
- 11. 安心のCreative Commons • 商用（研究、開発、運用、企画等）での使用・改変可能です。 • フィードバックください 11