ML@Loft 20200430
0 likes2,564 views
来栖川電算が正しいと考えるアノテーションプロセス、それを体現するアノテーションツールである AnnoFab について紹介します。さらに、AnnoFab を上手く使って実現できる高度な分析の例を紹介します。 機械学習にまつわるエンジニアリングがやりやすい AnnoFab をよろしくお願いします。
ML@Loft 20200430
- 1. AnnoFab開発企業が考える アノテーションの課題と対策 A W S L o f t T o k y o 2 0 2 0 . 4 . 3 0 来 栖 川 電 算 山 口 陽 平 M L @ L o f t # 1 2 . ア ノ テ ー シ ョ ン （ オ ン ラ イ ン 開 催 ） # M L L o f t
- 2. 今日話すこと 1. はじめに 2. アノテーションの重要性 3. 来栖川電算のアノテーションプロセス 4. AnnoFab 5. アノテーション方法の工夫 6. 付録 2
- 4. 山 口 陽 平 @melleo1978 • 所属 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
- 5. 山 口 陽 平 @melleo1978 • ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 70人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営 スマートライフ技術 NTTドコモ様との共同研究 スマートドライブ技術 大手自動車メーカー様むけ メイドさん もふくめて 6
- 7. 7 AR付箋 書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ 画像認識API 商品パッケージで情報検索するAPI 生活情報調査 道路沿いの視覚情報を収集し、活用 交通情報調査 道路沿いの視覚情報を収集し、活用 研究開発支援 タンゴチュウ 写真に写る単語を抽出するサービス 走行データ解析 周辺環境を認識し、様々な解析に活用 地図生成 オルソ画像から地物・交通規則を抽出 動作推定API 加速度センサで人の行動を推定 毎朝体操 腕の動きで体操採点するアプリ ヒーローの動きでゲームを制御 なりきり2.0 ー シ ョ ン 認 識 研究開発支援 研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ 研究開発支援 類似検索 類似検索 類似検索 文字認識 物体認識 物体認識 物体認識 物体認識 モーション認識 モーション認識 モーション認識物体認識 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用
- 8. 技術者集団 様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどの アルゴリズムやバイナリハックを駆使した高 精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深 い理解に基づく設計と計画 8
- 13. アノテーション データに対する説明 学習や選別に利用 • タスクの内容や学習のさせ方により様々 – トレードオフ：量，正確さ，精密さ，… 13 出典: google street view出典: google street view出典: google street view 種類選択 ⇒ 識別タスク 矩形選択 ⇒ 検出タスク 画素選択 ⇒ 分割タスク
- 14. Q. 人はどれ？ マネキン，ポスター，信号，映り込み，… 14 出典: google street view
- 15. Q. 看板はどれ？境界は？ 壁や窓の文字・ロゴ・ポスター，旗，カニ，… 15 出典: google street view
- 16. とても悩ましい 我々の問題に対する理解は不十分だと思え！ • 簡単そうなのに何故？ – 同じ対象であっても使い方によってアノテーショ ン方法が大きく異なる。やらないと分からない。 – 現実は想像より遥かに複雑で、解きたい問題に都 合よく整理されていない。言語化も難しい。 • 機械学習の難しさと根本は同じ – 解き方が分から機械学習を使う。すると問題に対 する理解の不足・誤りがある状況から出発する。 データや実験結果を観察し、問題に対する理解を 深め・訂正してゆくしかない。 16
- 18. 来栖川電算のプロセス まじめにアノテーションしようと考えて辿り着いた方式 • ユーザによる観察改善 • 管理者によるユーザの支援 • ランダム検査による教育と理解の統一 18 アノテーションユーザ アノテータ管理者 アノテータ チェッカー 生産 アノテーション仕様 質問・回答 インタビュー アドバイス 生産計画 生産実績 アノテーション 検査 更新 整理 平易化 把握 更新 把握
- 19. この方式を採用する理由 ユーザが積極的に関わることは問題解決への近道 • アノテータやチェッカーが多い – 分割統治すると仕様の解釈に方言が生まれる • アノテーションは簡単そうで難しい – 少し複雑な仕様になると、検査（フィードバック を早く受け取れる仕組）が必須となる • そもそも問題への理解が不足している – 観察は品質や生産性を改善するだけでなく、解き たい問題への理解にもつながる – 理解を促進するので、軽めのアノテーションを積 極的に実施できるようにすることが重要である 19
- 27. その他 様々なタスクに対応 ⇒ 画像・映像・系列データの領域の分割・検出・追跡・識別・属性推定 徹底的な自動化支援 ⇒ Web API・CLI により大量一括処理や外部システムとの連携が容易 ⇒ Web UI でできることは Web API・CLI で全て可能 多言語対応 ⇒ 表示されるメッセージは全て日本語と英語に対応（カスタマイズ可能） プライベートストレージ対応 ⇒ 心配な方のためにユーザのストレージ（オンプレミス or S3）に対応 プロフェッショナルサービス ※有料オプション ⇒ アノテーション，アルゴリズムの研究開発，これらに対するコンサルティング 27
- 30. 疑似 3D on 前方画像 3D 空間上での姿勢を画像アノテーション 物体を囲う矩形だけでなく接地線（タイヤの接地点を つなぐ線）とリンク（物体と接地線の対応）を画像ア ノテーションする。矩形と接地線から姿勢を求める。 30
- 31. 疑似 3D on 鳥観画像 3D 空間上での位置と姿勢を画像アノテーション LiDAR データから鳥観画像を作り、画像アノテーショ ンを行う。天井と床を除去、点群を時刻で色分、カメ ラ画像を付与するとアノテーションしやすくなる。 31
- 32. 特定物体の時系列変化 物体検出追跡器 × 動画アノテーション 物体検出追跡器を用いて検出枠に物体 ID を付与し、 ID ごとにそれだけを囲った動画を生成する。これに 動画アノテーションを行えば物体ごとに分析できる。 32 物体検出追跡器 動画集合 物体 ID 付き検出枠集合 物体ごとの動画集合 物体 ID でサンプリング 動画アノテーション
- 33. まとめ 高度な分析も AnnoFab でスマートに実現可能 • 柔軟なアノテーション仕様 – 様々な図形や属性の組み合わせで対象を記述 • 多段工程を記述できる Web API・CLI – AnnoFab への投入・取得，前後のデータ変換 • アドバイス – 追加投入で何度も実行されるのでスクリプト 化すべし – サンプリングしたフレームには追跡可能なよ うに ID を付与すべし 33
- 36. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 36
- 37. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 37
- 38. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 38
- 40. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 40
- 42. 交通情報調査 道路沿いの視覚情報を収集し、活用 首都圏を走行する大量の車両のドラレコを解析し、視 覚情報（天候，路面状態，レーン別交通量，危険シー ン，…）を DB 化。顧客との研究事例。 42
- 48. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 48
- 49. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 49
- 52. DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式（Linux・Android・iOS）へ変換。 52
- 54. ANNOFAB 高品質な教師データを大量に生産可能 品質と生産性のトレードオフ、誤り漏れの削減、きめ 細かく柔軟な仕様・課題・進捗の管理。実務で培った ノウハウが詰まったアノテーションサービス。 54
- 59. 柔軟な体制 AI 実現のための業務と基盤業務をカバー 59 AI アプリ SI インフラ AI インフラ データ モデル 研究者アノテータ デザイナ 開発者 役職 研究者 開発者 デザイナ アノテータ その他 合計 役員・正社員 21.6 % 27.3 % 0.1 % 4.9 % 3.3 % 57.1 % アルバイト／即戦力枠 10.0 % 2.9 % 2.9 % 22.9 % 1.4 % 40.0 % アルバイト／育成枠 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % アルバイト／試用枠 1.4 % 1.4 % 0.0 % 0.0 % 0.0 % 2.9 % 合計 33.0 % 31.6 % 3.0 % 27.7 % 4.7 % 100.0 %
- 60. 豊富な資源 研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 – PC，椅子，モニタ，キーボード，マウス，… • スグに使える計算資源とアノテータ – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 世界中から集まるデータ – 自動運転用データ，商品認識用データ，文字 認識用データ，体操採点用データ，… 60
- 61. 創造的な働き方 技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所，冒険者制度，… • 優秀な同僚 ※メンタリング（JEDI 制度） – IPA 未踏ソフトウェア創造事業採択者，コン テスト入賞者，OSS コントリビュータ，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 61