NGK2022S
0 likes130 views
2022年1月22日(土)に開催されたイベント「NGL2022S」で「機械学習で良い成果を出すためにアノテーションを頑張っている話」について話したときに使った資料です。 「半自動アノテーション」「アノテーションプロセスの分析」について紹介しました。ANNOFAB を使えばこういうことができるという話です。 現実の課題を解決しようとすると機械（AI）だけでは難しい場面が多々あります。そのような場面では、人間と機械が協調する半自動アノテーションが役に立つはずです。参考にして頂ければと思います。
![係数最適化ループの実装
18
calculate を用いて典型的な訓練ループを実装するだけ（約 20 行）
def optimize(data, mask, epoch_count = 10000, optimizer = tf.keras.optimizers.Adam(learning_rate = 0.001)):
# 列（タスク）ごとに係数（正規化前）を用意し、初期化する
_shape = [data.shape[1]]
_raw_w = tf.Variable(tf.ones (_shape), True)
_raw_b = tf.Variable(tf.zeros(_shape), True)
_variables = [_raw_w, _raw_b]
for _epoch_index in range(epoch_count):
# 損失を求める
with tf.GradientTape() as _tape:
_loss, _w, _b = calculate(_raw_w, _raw_b, data, mask)
if _epoch_index % 1000 == 0:
log(_epoch_index, _loss, _w, _b)
# 損失から係数の勾配を求め、係数（正規化前）を更新する
_gradients = _tape.gradient(_loss, _variables)
optimizer.apply_gradients(zip(_gradients, _variables))
_loss, _w, _b = calculate(_raw_w, _raw_b, data, mask)
log(epoch_count, _loss, _w, _b)
def log(context, loss, w, b):
print("[%s] loss: %f" % (context, loss.numpy()), flush = True)
print("w: %s" % ", ".join(["%f" % _ for _ in w.numpy()]), flush = True)
print("b: %s" % ", ".join(["%f" % _ for _ in b.numpy()]), flush = True)
あとは ANNOFAB CLI でとっ
てきた生産性情報を optimize
関数に入力するだけ](https://image.slidesharecdn.com/ngk2022s-220122081616/85/NGK2022S-18-320.jpg)
NGK2022S
- 1. 機 械 学 習 で 良 い 成 果 を 出 す た め に ア ノ テ ー シ ョ ン を 頑 張 っ て い る 話 2 0 2 2 . 0 1 . 2 2 オ ン ラ イ ン 開 催 来 栖 川 電 算 山 口 陽 平 N G K 2 0 2 2 S 名 古 屋 合 同 懇 親 会 2 0 2 2 新 年 会 # n g k 2 0 2 2 s
- 2. 自己紹介 & 会社概要 名古屋の AI ベンチャー 2
- 3. 山口陽平 何でも学び何でもやる人 3 有限会社来栖川電算 創業者・取締役・最高技術責任者 職務 全体 ビジョン・ビジネス・資金・設備・人員・制 度・文化・パートナーシップの計画・遂行 個別 企画，調査，研究，開発，運用，指導，教育， 広報，採用，… 略歴 2001 名古屋工業大学 知能情報システム 卒業 2003 名古屋工業大学 電気情報工学 修士課程 修了 有限会社来栖川電算 設立 IPA 未踏ソフトウェア創造事業 採択 2012 名古屋工業大学 情報工学 博士課程 退学 2013 Mashup Awards 9 優秀賞 受賞
- 4. 来栖川電算 • 様々な領域の顧客とともに彼らが抱える課題を解決 – AI・ML を応用した認識技術・自動化技術の研究開発 – ソフトウェア・アノテーションの製造・販売 – 研究開発を加速する基盤サービスの提供 4 設立 2003 年 名古屋工業大学発ベンチャー企業 従業員 97 人 急成長中
- 5. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 5
- 6. 地図生成 オルソ画像から地物・交通規則を抽出 自動運転や高度なモビリティサービスに使える水準の 地図をオルソ画像から高速に抽出する深層学習手法を 開発。株式会社トヨタマップマスター様との応用事例。 6
- 8. 半自動アノテーション ANNOFAB の plug-in 機構を活用した 8
- 9. 高精度地図 9 高度なモビリティサービスや位置情報サービスに不可欠な基盤地図 • 自動運転が可能なほどの精密さと情報量 – 車線中心線，車線境界線，路肩縁，導流帯，中央分離帯，交差 点領域，横断帯，停止禁止領域，停止線，矢印，道路標示，… • 超広域をカバー – 日本全国，全世界，… ※我々の推定手法で生成した高精度地図
- 10. 高精度地図の課題 • データ収集コストが増加する要因 – 計測設備（車両・航空機・人工衛星）のセンサの増加・高精細 化・高精度化，走行の高密度化，収集の高頻度化 ⇒センサ価格は下落傾向 ⇒市場車を活用したデータ収集が有望 • 地図作成コストが増加する要因 – 地図作成業務（作図・属性入力）の種類と量の増加，高難度化 ⇒ＡＩによる地図作成業務（アノテーション作業）支援が有望 10 従来のやり方では途方もない整備コスト ⇒ 圧倒的効率化が必須
- 11. PDF 版のスライドでは動画で動きを確認できません 属性値の自動入力の例 11 作図すると、即座にカテゴリや属性値が自動入力される 入力データ提供元 ©NTT DATA, Included ©Maxar Technologies,Inc.
- 12. PDF 版のスライドでは動画で動きを確認できません 図形の自動分割の例 12 作図すると、即座に分割され、カテゴリや属性値が自動入力される 入力データ提供元 ©NTT DATA, Included ©Maxar Technologies,Inc.
- 14. よくあること • C さんは A さんより優秀？ – 経験的に同じタスクに従事するアノテータ経由で推測している。 – タスクが異なっても序列にあまり変化がないことを知っている。 – 生産性改善施策により、作業方法の違いから生じる差がなくな り、身体的能力の差だけが残っているため、この推測方法が成 り立っていると考えられる。 14 異なるタスクに従事するアノテータの生産性を比較したい A さん B さん C さん D さん タスク X 100 個/時 50 個/時 ? 30 個/時 タスク Y ? 60 個/時 70 個/時 40 個/時 A さん B さん C さん D さん タスク X 100 個/時 50 個/時 60 個/時 30 個/時 タスク Y 110 個/時 60 個/時 70 個/時 40 個/時
- 15. どうやる？ ⇒射影した推定値が同じアノテータの中でできるだけ同じ になる係数を求めることに対応 ⇒射影した推定値の分散（アノテータ内）を最小化する係 数を求めることに対応 15 先の推測は、推定値と推定先の差が最小の係数を求めることに対応 A さん B さん C さん D さん 推定先 X 100 個/時 50 個/時 30 個/時 推定値 X’ (= Y × 1 － 10) 50 個/時 60 個/時 30 個/時 射影元 Y 60 個/時 70 個/時 40 個/時
- 16. アルゴリズム 1. 線形射影の係数をタスクごとに用意する 2. 係数を正規化する（多すぎる自由度を減らす） 3. 係数（正規化後）を用いて生産性を射影する 4. 生産性（射影後）のアノテータ内分散を求める 5. アノテータ内分散の平均を損失とする 6. 損失の勾配を求め、係数を更新する 7. 2 に戻る（適当な回数繰り返す） 16 損失（推定値のアノテータ内分散）を求め、勾配法で最小化する
- 17. 損失関数の実装 17 先ほどの数式がかなり素直にコード化できる（約 20 行） @tf.function def calculate(raw_w, raw_b, data, mask): # 列（タスク）と行（アノテータ）のマスクを求める _column_mask = tf.reduce_max(mask, 0) _row_mask = tf.reduce_max(mask, 1) # 列（タスク）ごとに係数を正規化する _raw_w_mean = weighted_mean(raw_w, _column_mask, -1) _raw_b_mean = weighted_mean(raw_b, _column_mask, -1) _w = raw_w / _raw_w_mean _b = (raw_b - _raw_b_mean) / _raw_w_mean # データ（生産性）を射影する _projected_data = data * _w + _b # 射影したデータ（生産性）から行（アノテータ）ごとに分散を求め、その平均を損失とする _loss = weighted_mean(weighted_variance(_projected_data, mask, -1), _row_mask, -1) return _loss, _w, _b def weighted_variance(value, weight, axis): return weighted_mean(tf.square(value), weight, axis) - tf.square(weighted_mean(value, weight, axis)) def weighted_mean(value, weight, axis): return tf.reduce_sum(value * weight, axis) / tf.reduce_sum(weight, axis)
- 18. 係数最適化ループの実装 18 calculate を用いて典型的な訓練ループを実装するだけ（約 20 行） def optimize(data, mask, epoch_count = 10000, optimizer = tf.keras.optimizers.Adam(learning_rate = 0.001)): # 列（タスク）ごとに係数（正規化前）を用意し、初期化する _shape = [data.shape[1]] _raw_w = tf.Variable(tf.ones (_shape), True) _raw_b = tf.Variable(tf.zeros(_shape), True) _variables = [_raw_w, _raw_b] for _epoch_index in range(epoch_count): # 損失を求める with tf.GradientTape() as _tape: _loss, _w, _b = calculate(_raw_w, _raw_b, data, mask) if _epoch_index % 1000 == 0: log(_epoch_index, _loss, _w, _b) # 損失から係数の勾配を求め、係数（正規化前）を更新する _gradients = _tape.gradient(_loss, _variables) optimizer.apply_gradients(zip(_gradients, _variables)) _loss, _w, _b = calculate(_raw_w, _raw_b, data, mask) log(epoch_count, _loss, _w, _b) def log(context, loss, w, b): print("[%s] loss: %f" % (context, loss.numpy()), flush = True) print("w: %s" % ", ".join(["%f" % _ for _ in w.numpy()]), flush = True) print("b: %s" % ", ".join(["%f" % _ for _ in b.numpy()]), flush = True) あとは ANNOFAB CLI でとっ てきた生産性情報を optimize 関数に入力するだけ
- 25. その他 様々なタスクに対応 ⇒ 画像・映像・系列データ・3D NEW! の領域の分割・検出・追跡・識別・属性推定 徹底的な自動化支援 ⇒ Web API・CLI により大量一括処理や外部システムとの連携が容易 ⇒ Web UI でできることは Web API・CLI で全て可能 ⇒ プラグイン機構によりカスタムエディタ（独自エディタ）も連携可能 NEW! 多言語対応 ⇒ 表示されるメッセージは全て日本語と英語に対応（カスタマイズ可能） プライベートストレージ対応 ⇒ 心配な方のためにユーザのストレージ（オンプレミス or S3）に対応 プロフェッショナルサービス ※有料オプション ⇒ アノテーション，アルゴリズムの研究開発，これらに対するコンサルティング 25
- 26. 3D にも対応！ 26
- 29. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 29
- 30. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 30
- 31. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 31
- 33. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 33
- 35. 交通情報調査 道路沿いの視覚情報を収集し、活用 首都圏を走行する大量の車両のドラレコを解析し、視 覚情報（天候，路面状態，レーン別交通量，危険シー ン，…）を DB 化。顧客との研究事例。 35
- 41. 生体情報推定 特別なセンサなしに生体情報を推定 スマホやウォッチに搭載されている標準的なセンサの みを用いて生体情報を推定（センサエミュレーショ ン）。株式会社 NTT ドコモ様との共同研究。 41
- 42. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 42
- 43. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 43
- 48. DNN compiler DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式（Linux・Android・iOS）へ変換。 48
- 50. ANNOFAB 高品質な教師データを大量に生産可能 品質と生産性のトレードオフ、誤り漏れの削減、きめ 細かく柔軟な仕様・課題・進捗の管理。実務で培った ノウハウが詰まったアノテーションサービス。 50
- 52. 体制・設備・働き方 付録３ 52
- 53. 役職 研究者 開発者 デザイナ アノテータ その他 合計 役員・正社員 11.3 % 11.7 % 0.5 % 3.5 % 1.6 % 28.6 % アルバイト／即戦力枠 8.7 % 5.6 % 1.6 % 28.6 % 1.6 % 46.0 % アルバイト／育成枠 0.8 % 0.8 % 0.0 % 0.0 % 0.0 % 1.6 % アルバイト／試用枠 0.0 % 0.0 % 0.0 % 0.0 % 0.8 % 0.8 % パートナー 0.4 % 2.8 % 0.0 % 19.0 % 0.8 % 23.0 % 合計 21.3 % 20.8 % 2.1 % 51.1 % 4.8 % 100.0 % 柔軟な体制 53 ワンストップ体制を支えるために様々な技術者がバランスよく在籍
- 54. 豊富な資源 • 理想的な個人設備 – PC，椅子，モニタ，キーボード，マウス，… • スグに使える計算資源とアノテータ – AHAB：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 世界中から集まるデータ – ロボットサービス用データ，自動運転用データ，商品認識用 データ，文字認識用データ，体操採点用データ，… 54 研究開発を円滑にするためにあらゆる手を尽くす
- 55. 創造的な働き方 • 様々な働き方 – 自由な時間帯・場所，エージェント・冒険者（実力のある学生向けの 時短勤務制度），JEDI（優秀な同僚によるメンタリング制度），… • 優秀な同僚 – 未踏採択者，コンテスト入賞者，OSS 貢献者，MVP，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入，勉強会・懇親会の開催・ 参加・移動・宿泊，会社の昼会・夕会・飲み会で出る飲食物 55 技術を磨きやすくするためにあらゆる手を尽くす