産業用ロボットにおけるUnityとAI技術の活用

© 2020 AI Cube Inc. Unauthorized reproduction prohibited.（無断転載禁止）
GenerativeArt—MadewithUnity
産業用ロボットにおける
UnityとAI技術の活用
株式会社エイアイキューブ
太刀掛浩貴

自己紹介
• 太刀掛浩貴（タチカケヒロキ）
• ～2016年東北大学バイオロボティクス専攻
✓ 製造業向けの作業支援ロボット
• 機械設計
• 電気設計
• 認識（自己位置推定）
• 制御
• 機械学習（作業者の行動認識） …, etc.
• 2016年株式会社安川電機入社
✓ 新規事業向けのロボット開発
• 深層学習
• 2018年株式会社エイアイキューブ出向
✓ 現職

本日の内容
• 産業用ロボットにおけるUnityとAI技術(特に深層学習)の活用について
私たちの取組みを事例として紹介
• ばら積み部品をピックアップ？
• AI？
• シミュレーション？
MONOistに掲載された記事[1]
[1] MONOist, https://monoist.atmarkit.co.jp/mn/articles/1912/24/news063.html (accessed 2020/9/25).

本日の内容
• 過去の関連するプレゼンテーション資料
[2] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=s3kHYTkDVNI (accessed 2020/9/25).
[3] 一般社団法人日本ディープラーニング協会, https://www.youtube.com/watch?v=iUpJySHU7yQ (accessed 2020/9/25).
2019国際ロボット展(iREX2019)[2] JDLA 合格者の会[3]

• 今回は開発者の目線からお話しします！！
⇒ 産業用ロボットの分野でUnityのようなゲームエンジンが今 or 今後
どう関わってくるか？の参考になれば幸いです
本日の内容
含まれる内容
• 製造業のおけるUnityの活用事例や
今後の方向性
含まれない内容
• Unity活用のノウハウ

エイアイキューブとは？
• 安川電機について
• 100年以上の歴史のある会社
• “メカトロニクス”という考えを初めて提唱したのは，実は安川電機
サーボ&コントローラ産業用ロボットインバータ
コア製品群

• 産業用ロボット活用の領域の拡大
ロボットに求められる能力
高生産性=正確性・多量・高速多才さ、柔軟性、人との協調性
塗装
溶接
搬送
レーザ溶接
新型7軸ロボットアーク溶接
塗装用途最適化ロボット
液晶･半導体搬送ロボット
ﾋﾟｯｷﾝｸﾞ・ﾊﾟｯｷﾝｸﾞ
ﾊﾟﾚﾀｲｼﾞﾝｸﾞロボット
分析前処理ロボットセル自走式双腕ロボット
多能工型
7軸・双腕ロボット
ビジョン技術
力覚技術
バイオ
メディカル
組立
スポット溶接
MotoMINI
ロボットの新しい
活用領域の追求
スキルの拡大
・各種センサーの利用
・作業ツールの充実
人協働ロボット
一
般
産
業
自
動
車
導入に対する簡易性向上
・安全柵なしでの設置
・教示の簡易化
・配置・移動の自在性向上ｺﾞﾙﾌｽｲﾝｸﾞﾛﾎﾞｯﾄ
人の動作の
模倣
バイオメディカル用
双腕ロボット

• i3-Mechatronics（アイキューブメカトロニクス）
１．Integrated 製品や周辺機器とのデータ統合によって状況を把握
２．Intelligent 統合されたデータを動きに変えて継続的な価値を届ける
３．Innovative 1，2を更に高めるための技術革新
新しいモノづくりを実現する手段としてAI技術を活用！！

エイアイキューブが目指すこと
モータのデータを核とした現場のデータ活用に、
AI技術を融合し生産現場に導入
今まで自動化が難しかった領域の自動化を実現
ものづくりの現場の自動化領域が拡大
お客様とinnovativeな状態を実現

エイアイキューブの取組み
② 画像診断・解析 ③ ロボティクス① 時系列データ解析
微細なキズ・ヘコミ・擦れの
検出，異物・不良の検出
異音・振動検知による
製造品質/工場の生産性向上
嵌合作業、ピッキング作業の
ロボット化など
しきい値判定では難しい
機械の予兆の検知・予測
目視による異常検知や
製品の外観検査の自動化
産業用ロボットの
技術領域と応用範囲の拡大
• ボールねじ故障予知診断
• モータ異音の検査
• 溶接ビード研削状態の判定
• 車載基板の不良検査
• 食品内の異物の検査
• ギヤ嵌合作業の自動化
• バラ積みピッキング
• ロボット動作の自動生成
これまで取り組んだテーマの一例
FA機器の“機能”としてAIを実装

産業用ロボットが製造現場のデータを活用するためには？
• “機能”を実装するだけで十分か？
2017国際ロボット展(iREX2017)[4]
[4] 安川電機 e-メカサイト,
https://www.youtube.com/watch?v=N9E2ZOjyUW8 (accessed 2020/9/25).

https://www.youtube.com/watch?v=N9E2ZOjyUW8 (accessed 2020/9/25).

⇒ データ収集のプロセスとセットで考える必要がある
• 製造現場のデータは“特定タスク”の“複数条件下”におけるデータ
• 顧客ごとにタスクが異なる＋性能が要求される
＝画像や自然言語の分野で有効であった
汎化 → 特定のタスクへのチューニングという方法が採用しづらい
• 自動化が難しい領域
＝タスクの中でも環境や条件が変化する
• 実機を用いたデータ収集のコスト
• 試行回数を大きくできない
• 人手で環境を構築/再構築する必要がある
• 実機が壊れる … など
シミュレーションの活用

• 現実世界とシミュレーションとの違い
• 周囲環境のモデルや観測値，動作指令から結果を得るプロセスにおいて
現実世界とシミュレーションでは違い（Reality gap）が存在する
⇒ シミュレーションで生成した動作指令が現実世界では機能しないことがある
観測値状態状態遷移観測動作指令生成機能動作結果
Reality gap
シミュレーション
現実世界
観測値状態状態遷移観測動作指令生成機能動作結果
Reality gap Reality gap

• 従来のシミュレータの役割
• 事前の動作検証（経路計画・干渉判定など）
[5] Yaskawa America, Inc., https://www.youtube.com/watch?v=WPFEEt8AeTQ&list=PLoQTh8O3tekKLMGU4_nlXrHV8uoZJdFz5&index=1 (accessed 2020/9/25)
従来のシミュレータ
(例：MotoSim[5])

⇒ 深層学習の発展によって，複雑な関係性を持つデータフローの一部を学習によって
獲得することが可能になった（色々と限界はある…）
画像
(高次元)
画像
(高次元)
画像
(高次元)
ボックスの位置・大きさ
(4次元)
例

⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと
現場のデータを用いた学習のプロセスが加わる
動作指令生成機能
Reality gap
現実世界

現実世界
現場のデータ
シミュレーションと現実世界の違いがなくなるように，
現場のデータを用いて学習を実行

現実世界
現場のデータ
シミュレーションの
データ収集によって
学習した機能が使える

現実世界
現場のデータ
シミュレーションの
データ収集によって
学習した機能が使える
✓ 製造現場のデータを活用するためのキーアイテムの一つになる(はず)
⇒ エイアイキューブ設立後，取組みを開始

具体的な取組み：ばら積みピッキング
• ばら積みピッキング
• タスク設定：取組みを形にするために“ばら積みピッキング”をターゲットに設定
把持物体の種類が既知な環境
(例：配膳工程[6])
把持物体の種類が未知な環境
(例：物流倉庫[7])
[6] https://gazoo.com/article/daily/170424.html (accessed 2020/9/25)
[7] https://www.asahi.com/articles/ASK6Y4SK0K6YPPZB00B.html (accessed 2020/9/25)

• 課題：物体の種類に対する網羅性の向上（＝費用対効果の向上）
⇒ 目標：単一のシステムで複数の種類/条件に対応させる
従来のピッキングシステム
(例 : MotoSight3D[8])
把
持
物
体
の
種
類
剛体
柔軟
物体をつかむ場所
決めて取る※1 決めないで取る※2
不定形
https://www.e-mechatronics.com/product/robot/related/MotoSight3D/feature.html
(accessed 2020/9/25).
ピッキング可能な
物体の種類が拡大

• 方法：シミュレーション内の観測値（= 画像）を現実世界と近づけた状態で
把持動作生成機能のためのデータ収集と学習を行う
Reality gap
現実世界
把持動作生成機能

現実世界
Reality gap

現実世界

• まずは試作開発から・・・
• 社内でデモを作成 ⇒ 取組みとして本格スタート

• 試作開発で出た課題：
• 扱えるオブジェクトのモデルやシーンに限界があった
• メッシュ数，テクスチャ… など
• もう少し綺麗なグラフィックスを使ってみたい
• カスタマイズ性をあげたい
• 把持動作の部分だけ実装して精度を高めたい
• 学習に必要なアノテーションデータ等は内部で生成して，取得できる仕組みにしたい
• 将来的に実環境の様々な設備・データと連携させたい
• エコシステムを形成できるような仕組みが欲しい

• Unityの採用
• 苦労した点：
• エンジニアはどこに？
• Unityとロボティクスを両方分かるエンジニアがいない …
• 打合せのときに使う用語が分からない
• 本やセミナーに行って勉強
• 既存のシステムとの連携
• ばら積みピッキングの学習用のシステムは既にあったため，
それをいかすようなシステム設計
• 良かった点：
• 事前知識がなくてもシーンの作成やデバッグができる
• テストプレイですぐ確認できる
• 他の人が作ったアセットが使える
• コライダーの自動設定など全て自前実装しなくても
ストアに売っている
把持動作のシミュレーション
ばら積みのシミュレーション

• 学習型のばら積みピッキングシステム
• データ収集＋機能（＝把持動作）
object mesh
把持動作生成指令機能
学習型ピッキングシステム
把持動作生成指令機能
出力
入力

• ハードウェアの構成を変えずにデータを変更すると把持動作を適応させることが可能
・・・
・・・
…
同一のプロセス

• 同一システムでピッキング可能な物体の種類が拡大
形状が変形する人形半透明のボトル重量部品
袋入り菓子ケーブル柔らかい人形

• ばら積みピッキング≠最終ゴール
⇒ 現場のデータをモーションにつなげるための取組みの一部
[2] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=s3kHYTkDVNI (accessed 2020/9/25).

今後の方向性
• 世の中の技術動向
• データ＋シミュレーションに関連する技術が発展
⇒ 今後のゲームエンジンはリアルなデータとのつながりが重要に！！
シーン/パラメータの生成/調整[9] 学習可能(微分可能)な
物理シミュレータ[11]
シミュレーションと実データの間
のギャップの吸収[10]
[9] J. Devaranjan et al. ,“Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data Generation,” ECCV2020.
[10] Y. Chebotar et al., “Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience,” ICRA2019.
[11] Yi-Ling Qiao et al.,“Scalable Differentiable Physics for Learning and Control,“ ICML2020.

現在の取組み
• 製造業の様々な用途への展開
• 継続的な現場での実課題の解決へ
• 顧客とともに新たな“モノづくり”のプロセスを目指す！
• AI （深層学習等）で全てが解決するわけではない・・・( 全体の仕組みづくりが大切 )
⇒ “ モノ”の革新が必要＝ × …
例：機械の異常検知例：基板の傷検出

Email：Hiroki.Tachikake@ai3cube.co.jp
Thank you !!

産業用ロボットにおけるUnityとAI技術の活用

More Related Content

Similar to 産業用ロボットにおけるUnityとAI技術の活用 (20)

産業用ロボットにおけるUnityとAI技術の活用