SlideShare a Scribd company logo
TNK 田中 良道
桑野 僚大
Virtual Tsukuba Challenge on Unity
2020.11.28
1自己紹介
田中 良道(Ryodo Tanaka)
• 所属:筑波大学(学生)
• 研究:Multi Contact Motion Planning
• 趣味:クラリネット演奏
• Twitter:@Ryodo Tanaka
桑野 僚大(Tomohiro Kuwano)
• 所属:某自動車メーカー
• 趣味:電子工作,プログラミング … etc
• Twitter:@calm0815
↑最近買った犬ロボ
← 高2の頃の様子
現在はここから +20kg...
2vtc_unity の概要
Unity Rviz,rqt
3パッケージ構成
vtc_unity
統合パッケージ
環境・センサ・ロボット
自由に組み合わせ可能!(※ROS1 の利用が前提)
unit04_unity
ロボットパッケージ
• ROS# を利用
• URDFから作成可能
sensors_unity
センサパッケージ
• 3D LiDAR
• RGB Camera
• IMU (6 Axis)
vtc_world_unity
環境パッケージ
• 点群から生成
• つくば市役所周辺
• 公園はUpdate中!
4環境データの構築
Point Cloud Data
約1,400万点
by 防衛大学 冨沢研究室(Stencil 2.0)
Blender (≥2.8)
メッシュ化
less than 10,000ポリゴン
モデル化
オブジェクト配置
5ロボットモデルの構築
• xml記法のファイル
• あらゆるプログラムが参照
URDF
(Unified Robot Description Format)
• テクスチャ
• 衝突モデル
• Joint設定
は自動生成
• 質量情報
• センサモデル
は手動生成
[1] https://github.com/siemens/ros-sharp/wiki/User_App_ROS_TransferURDFFromROS
API[1]
6センサモデルの構築
3D LiDAR
[2] https://github.com/Field-Robotics-Japan/sensors_unit
6Axis IMU RGB Camera RGBD Camera
sensors_unity[2]
[3] Inamura, T. and Mizuchi, Y., 2020. SIGVerse: A cloud-based VR platform for research on social and embodied human-
robot interaction. arXiv preprint arXiv:2005.00825.
Inamura, T et. at. al [3] Figure.3 より引用
2D LiDAR・Wheel Odometry
は近日実装予定
7シミュレータ構築の難所(環境づくり)
木等の複雑形状の計測はどうする? そもそも木の除去も大変!
上:点群,下:メッシュモデル
同じ木のモデルでも
計測したものは平たいメッシュを観測している…
8シミュレータ構築の難所(環境づくり)
そもそも木の除去も大変!
上:点群,下:メッシュモデル
同じ木のモデルでも
計測したものは平たいメッシュを観測している…
木等の複雑形状の計測はどうする?
9シミュレータ構築の難所(環境づくり)
三角メッシュ化(再近傍)点群 メッシュの単純化
単純化(手動)した領域
まだ単純化
していない領域
大事な処理のほとんどが手動…とても大変…orz
10シミュレータ構築の難所(通信)
Serialize/Deserialize
Publish/Subscribe
rosbridge_server
websocket
HTTP
Serialize / Deserialize
でJSON(Text)に変換…
通信速度が下がる原因に
11
Serialize/Deserialize
Publish/Subscribe
rosbridge_server
websocket
HTTP
通常のトピック通信と同じ
Unityが起動する
すべてのOSで起動可能!!
複数PC間での通信が可能
シミュレータ構築の難所(通信)
12シミュレータ構築の難所(LiDAR)
• 通信速度が遅い(前述)
• 葉っぱなどのモデルが単調
• レーザー強度モデル無し
VTC (UE4) by fuRo
VTC on Unity
• 通信速度が速い(並列処理)
• レーザー強度モデル有り[4]
[4] 吉田 智章, 原 祥尭, “移動ロボットシミュレータにおける 3D Lidar の受光強度シ
ミュレーション”, ROBOMECH 2020, 2020.
平面プレート
の形状を観測…
13Update(予定)
• 公園エリアの作りこみ
• 各種Objectの配置
vtc_world_unity(環境)
sensors_unity(センサ)
unit04_unity(ロボット)
• レーザー強度(LiDAR)の実装
• ノイズの付加
• GPSセンサの追加
• 通信規格の修正・軽量化
• URDFからのモデル作成方法マニュアルの追加
その他
• NPCの追加
• オンラインNPC・ロボットの追加
更新内容は
Twitterにて公開!
@RyodoTanaka
14
https://github.com/Field-Robotics-Japan/vtc_world_unity
vtc_world_unity(環境)
sensors_unity(センサ)
https://github.com/Field-Robotics-Japan/sensors_unity
unit04_unity(ロボット)
https://github.com/Field-Robotics-Japan/unit04_unity
vtc_unity(統合)
https://github.com/Field-Robotics-Japan/vtc_unity
お気軽にContributeお願いします!
公開場所(LICENSE : Appache 2.0)

More Related Content

PDF
5分でわかる Sensor SDK
PDF
tf,tf2完全理解
PDF
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
PDF
工学系大学4年生のための論文の読み方
PPTX
SLAM勉強会(PTAM)
PDF
四脚ロボットによる つくばチャレンジへの取り組み
PDF
semantic segmentation サーベイ
PPTX
確率ロボティクス第二回
5分でわかる Sensor SDK
tf,tf2完全理解
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
工学系大学4年生のための論文の読み方
SLAM勉強会(PTAM)
四脚ロボットによる つくばチャレンジへの取り組み
semantic segmentation サーベイ
確率ロボティクス第二回

What's hot (20)

PDF
リンク機構を有するロボットをGazeboで動かす
PDF
Cvpr 2021 manydepth
PDF
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
PDF
UnityとROSの連携について
PDF
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
PDF
SLAM入門 第2章 SLAMの基礎
PDF
Cartographer を用いた 3D SLAM
PDF
論文紹介:Multimodal Learning with Transformers: A Survey
PDF
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
PDF
【メタサーベイ】Neural Fields
PPTX
確率ロボティクス第11回
PDF
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
PPTX
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
PDF
Cartographer と Autoware を用いた自律走行
PPTX
確率ロボティクス第13回
PDF
【DL輪読会】A Path Towards Autonomous Machine Intelligence
PDF
【Unity道場スペシャル 2017京都】乱数完全マスター 京都編
PPTX
FPGAを用いたフルパイプラインによるバイラテラルフィルタの高速化手法
PDF
ROS を用いた自律移動ロボットのシステム構築
PDF
三次元点群を取り扱うニューラルネットワークのサーベイ
リンク機構を有するロボットをGazeboで動かす
Cvpr 2021 manydepth
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
UnityとROSの連携について
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SLAM入門 第2章 SLAMの基礎
Cartographer を用いた 3D SLAM
論文紹介:Multimodal Learning with Transformers: A Survey
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
【メタサーベイ】Neural Fields
確率ロボティクス第11回
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
Cartographer と Autoware を用いた自律走行
確率ロボティクス第13回
【DL輪読会】A Path Towards Autonomous Machine Intelligence
【Unity道場スペシャル 2017京都】乱数完全マスター 京都編
FPGAを用いたフルパイプラインによるバイラテラルフィルタの高速化手法
ROS を用いた自律移動ロボットのシステム構築
三次元点群を取り扱うニューラルネットワークのサーベイ
Ad

Similar to VTC on Unity の 進捗について (20)

PDF
Virtual Tsukuba Challenge on Unity のアップデートについて
PDF
Virtual Tsukuba Challenge on Unity について
PPTX
Practical game development with Stingray
PDF
IoT with Unity
PPTX
Azure Remote Renderingを試す
PDF
片岡Io tltシリーズネタ 2016/10/29
PDF
Virtual Tsukuba Challenge on Unity について
PDF
Rsj2013 sekiyama 3
PPTX
kintone で AIによる画像解析の活用を試してみた
PPTX
160531 IoT LT #15 @ 日本IBM
PDF
触ってみよう! Robotics Studio -レゴマインドストームRCXを動かしてみる
PDF
NGK2018B マルチプラットフォームQtと日本Qtユーザー会の紹介
PPTX
東方ゲームAIとその歴史
PPTX
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
PPTX
MRTK3を調べてみた
PDF
Android & Nui & Physical Computing
PPTX
「Mixed Reality Toolkit V1」のあの機能ってV2では?~ 空間マッピングとTagalong ~
PDF
ロボコンの為のFusion360講座 #CAD編
PPTX
見える!「IoT」NefryでJenkinsのXFD作ってみた
PPTX
IoTLT Kumamoto vol3
Virtual Tsukuba Challenge on Unity のアップデートについて
Virtual Tsukuba Challenge on Unity について
Practical game development with Stingray
IoT with Unity
Azure Remote Renderingを試す
片岡Io tltシリーズネタ 2016/10/29
Virtual Tsukuba Challenge on Unity について
Rsj2013 sekiyama 3
kintone で AIによる画像解析の活用を試してみた
160531 IoT LT #15 @ 日本IBM
触ってみよう! Robotics Studio -レゴマインドストームRCXを動かしてみる
NGK2018B マルチプラットフォームQtと日本Qtユーザー会の紹介
東方ゲームAIとその歴史
だんグラで「Mixed Reality Toolkit V2」のサンプルを動かしてみた
MRTK3を調べてみた
Android & Nui & Physical Computing
「Mixed Reality Toolkit V1」のあの機能ってV2では?~ 空間マッピングとTagalong ~
ロボコンの為のFusion360講座 #CAD編
見える!「IoT」NefryでJenkinsのXFD作ってみた
IoTLT Kumamoto vol3
Ad

More from Ryodo Tanaka (7)

PDF
WRS トンネルチャレンジ 現地からリポートしてみる
PDF
Constraint Motion Planning について
PDF
激安犬ロボを買って壊して直せてたらいいなぁ...
PDF
小ネタ:Android上でroscoreを走らせてみた
PDF
choreonoid_ros_control を実装した話
PPTX
roslaunch test + industrial_ci
PDF
Moveitを使ったアプリケーションの紹介
WRS トンネルチャレンジ 現地からリポートしてみる
Constraint Motion Planning について
激安犬ロボを買って壊して直せてたらいいなぁ...
小ネタ:Android上でroscoreを走らせてみた
choreonoid_ros_control を実装した話
roslaunch test + industrial_ci
Moveitを使ったアプリケーションの紹介

VTC on Unity の 進捗について