Unityでロボットの教師データは作れる！

Unityでロボットの
教師データは作れる！
Unity道場ロボティクス秋のLT祭り 2021
からあげ｜闇のエンジニア｜ 2021.10.12 からあげ @karaage0703

自己紹介
名前：からあげ（本名は内緒）
職業：闇のエンジニア
https://karaage.hatenadiary.jp
@karaage0703
karaage0703
ブログ、各種SNSで情報発信しています
ロボット・Unity初心者ですけどがんばります！

AIロボット戦国時代
からあげを盛り付けるロボット（アールティ様）
https://rt-net.jp/service/foodly/ より引用

個人でAIロボットを作ってみよう！
ハンチョウボット(hancho bot)
サイコロの目を
AI画像認識
ロボット制御で
サイコロを振る

どうやって作ろう？？
AIロボット三銃士だ！！

AIロボット三銃士を連れてきたよ
うっす、よろしく。がんばります、よろしく。よっす、どうも。
格安ロボットアーム
「myCobot」
AI入門書
「AI自作教室」
ヤバいゲームエンジン
「Unity」

格安ロボットアーム「myCobot」
実質無料（約6万円）の6軸ロボットアーム
Zennで入門書を無料で公開しています
https://zenn.dev/karaage0703/books

AIによる画像認識
AI（ディープラーニング）使って画像認識だ！
教師データ集めてラベル付け（アノテーション）
するの大変なんだよなー

教師データがないなら
作ればいいじゃない！
カラアーゲ・アントワネット
（2021/10/19∼2021/10/19）

Unity Perception
ラベル付きの教師データを大量生成するヤバイやつ
Domain Randomization: https://arxiv.org/abs/1703.06907

Unityで教師データを大量生成
数分で1万枚のアノテーション済みデータを自動生成
参考： https://zenn.dev/karaage0703/articles/2d54b5c02dfe39

AIで学習！
1万データあれば余裕やろ。楽勝楽勝！
環境：Google Colaboratory
使用モデル：EfficientNet

AIで学習
信じられないくらい過学習
精度(Accuracy) 50%以下。どうしよう…

データをよくみてみる
背景（環境）が全然違う！
でも環境変わるたびにUnityのモデル作るの大変
Unity リアル

GANを使う
からあげ先生のAI自作教室 P.198より引用
シミュレータとリアルのギャップを埋めるのにGANを使って
画像を変換するのが最近のトレンド
今回は基礎的なGANで背景のテクスチャを生成して性能向上を図る

GANの学習データ準備
データの切り出し・水増しで
1枚の背景画像から1600枚の画像を取得

GANで背景を学習
0 Epoch 100 Epoch 500 Epoch 2000 Epoch
軽いモデルで背景画像のテクスチャをすぐ作れる

GANで背景生成した教師データ
GANで作成した画像をテクスチャとして貼り付けると
それっぽい教師画像が生成できた！
Unity リアル

AIで学習に再挑戦
今度は良い感じに学習

テスト結果
実画像ゼロで精度(Accuracy) 80%達成！

AIモデルを設計する時代
教師データを設計する時代
with Unity

まとめ
・Unityでロボットの教師データは作れる！
・学習に使ったコード、Unityのプロジェクトは
以下ブログ記事で公開中！すぐ試せる！
https://karaage.hatenadiary.jp/unity-lt-2021

More Related Content