![データ変数
struct TimedShort
{
Time tm;
short data;
};
struct TimedShortSeq
{
Time tm;
sequence<short> data;
};
• 基本型
– tm：時刻
– data: データそのもの
• シーケンス型
– data[i]: 添え字によるアクセス
– data.length(i): 長さiを確保
– data.length(): 長さを取得
• データを入れるときにはあらかじめ
長さをセットしなければならない。
• CORBAのシーケンス型そのもの
• 今後変更される可能性あり
0.2.0では自動で現在時刻を
セットしていたが、0.4.0では
必要に応じて、手動でセット
する必要あり](https://image.slidesharecdn.com/200606-01-210606005803/85/ROBOMECH2021-RTM-1-33-320.jpg)
![Configuration
• 複数のパラメータを持つ可能性のあるコンポ
ーネントで、動的にパラメータ変更を行うこと
ができる機能
Rtc-template 引数 (－－config=[名前]:[型]:[デフォルト値]) で指定
例
--config=int_param0:int:0 --config=double_param0:double:1.1
※これらは”default”という名前のConfigurationSetとしてソースに埋め込まれる
• rtc-link上でConfiguration Setを変更可能
• 詳しくはConfigSampleを参照](https://image.slidesharecdn.com/200606-01-210606005803/85/ROBOMECH2021-RTM-1-42-320.jpg)
![Configurationの実装例
ヘッダ
変数宣言
int m_int_param0;
double m_double_param0;
実装ファイル
先頭部分：spec定義にて
static const char* configsample_spec[] = {
:中略
"conf.default.int_param0", “0",
"conf.default.double_param0", “1.1",
:中略};
onInitialize()にて
bindParameter(“int_param0”, m_int_param0, “0”);
bindParameter(“double_param0”, m_double_param0, “1.1”);
istream operator>>が
定義されている型であ
ればどんな型でも可能](https://image.slidesharecdn.com/200606-01-210606005803/85/ROBOMECH2021-RTM-1-43-320.jpg)
ROBOMECH2021 RTM講習会 第1部
- 2. はじめに • RTミドルウエアの概要 – 基本概念 • ロボットソフトウェアの動向 • モジュール化のメリット • RTコンポーネントの基本機能 • 標準化 • コミュニティ 2
- 4. 4 4 • RT = Robot Technology cf. IT – ≠Real-time – 単体のロボットだけでなく、さまざまなロボット技術に基づく 機能要素をも含む (センサ、アクチュエータ, 制御スキーム、ア ルゴリズム、etc….) • RT-Middleware （RTM) – RT要素のインテグレーションのためのミドルウエア • RT-Component （RTC) – RT-Middlewareにおけるソフトウエアの基本単位 RT-Middleware + + + + + RTとは? 産総研版RTミドルウエア OpenRTM-aist
- 5. ロボットミドルウエアについて • ロボットシステム構築を効率化するための共通機 能を提供する基盤ソフトウエア – 「ロボットOS」と呼ばれることもある – インターフェース・プロトコルの共通化、標準化 – 例として • モジュール化・コンポーネント化フレームワークを提供 • モジュール間の通信をサポート • パラメータの設定、配置、起動、モジュールの複合化（結合 ）機能を提供 • 抽象化により、OSや⾔語間連携・相互運⽤を実現 • 2000年ごろから開発が活発化 – 世界各国で様々なミドルウエアが開発・公開されて いる 5
- 6. 6 従来のシステムでは… Controller Controller software 互換性のあるインターフェース同⼠は接続可能 Robot Arm Control software Robot Arm2
- 7. 7 ロボットによって、インターフェースは⾊々 互換性が無ければつながらない Robot Arm1 Robot Arm2 Controller software Humanoidʼs Arm Control software Robot Arm Control software 従来のシステムでは… Controller
- 8. 8 compatible arm interfaces RTミドルウエアは別々に作られた ソフトウエアモジュール同⼠を繋ぐ ための共通インターフェース を提供する ソフトウエアの再利⽤性の向上 RTシステム構築が容易になる Controller software Arm A Control software Arm B Control software RTミドルウエアでは… Robot Arm1 Robot Arm2 Controller
- 9. ロボットソフトウェア開発の⽅向 コンポーネント指向開発 従来型開発 カメラ マイク 頭・腕駆動 ⾳声合成 ステレオビジョン 対話 ⾳声認識 顔認識 ミドルウェア ステレオビジョン 対話 ⾳声認識 顔認識 カメラ マイク 頭・腕駆動 ⾳声合成 ü 様々な機能を融合的に設計 ü 実⾏時の効率は⾼いが、柔軟性に⽋ける ü システムが複雑化してくると開発が困難に ü ⼤規模複雑な機能の分割・統合 ü 開発・保守効率化（機能の再利⽤等） ü システムの柔軟性向上 9
- 10. モジュール化のメリット • 再利⽤性の向上 – 同じコンポーネントをいろいろなシステムに使いまわせる • 選択肢の多様化 – 同じ機能を持つ複数のモジュールを試すことができる • 柔軟性の向上 – モジュール接続構成かえるだけで様々なシステムを構築できる • 信頼性の向上 – モジュール単位でテスト可能なため信頼性が向上する • 堅牢性の向上 – システムがモジュールで分割されているので、⼀つの問題が全 体に波及しにくい 10
- 11. RTコンポーネント化のメリット モジュール化のメリットに加えて • ソフトウエアパターンを提供 – ロボットに特有のソフトウエアパターンを提供する ことで、体系的なシステム構築が可能 • フレームワークの提供 – フレームワークが提供されているので、コアのロジ ックに集中できる • 分散ミドルウエア – ロボット体内LANやネットワークロボットなど、分 散システムを容易に構築可能 11
- 12. RTコンポーネントの主な機能 12 Inactive Active Error アクティビティ・実⾏コンテキスト ライフサイクルの管理・コアロジックの実⾏ 共通の状態遷移 センサRTC 複合実⾏ 制御RTC アクチュエータRTC エンコーダ コンポーネント アクチュエータ コンポーネント 制御器 コンポーネント 1 TI s TDs Kp + - ⽬標値 位置 位置 トルク データポート • データ指向ポート • 連続的なデータの送受信 • 動的な接続・切断 データ指向通信機能 サーボの例 • 定義可能なインターフェースを持つ • 内部の詳細な機能にアクセス – パラメータ取得・設定 – モード切替 – etc… サービスポート 画像 データ 3Dデプス データ ステレオビジョンの例 ステレオビジョン インターフェース ・モード設定関数 ・座標系設定関数 ・キャリブレーション ・etc… サービスポート ステレオビジョン コンポーネント データポート サービス指向相互作⽤機能 名前 値 セット名 名前 値 セット名 複数のセットを 動作時に 切り替えて 使⽤可能 コンフィギュレーション • パラメータを保持する仕組み • いくつかのセットを保持可能 • 実⾏時に動的に変更可能
- 13. ミドルウェアを利⽤した開発の利点 13 ℓ1 ℓ2 θ2 ( x , y ) θ1 既存のものが 再利⽤可能 新規開発が必要 ライブラリなどを 利⽤して⾃作 3Dカメラ Point Cloud 把持戦略 プランニング 逆運動学計算 ロボットアーム制御 グリッパ制御 ミドルウェアを利⽤する と、既存のモジュールが 利⽤できる 開発するときに新規に作 らなければならない部分 は少なくて済む ピッキングロボットの構築例 ※図は実際の構成ではありません。
- 14. RTミドルウエアによる分散システム RTC (Java) RTC (C++) RTM Windows RTC (C++) RTC (C++) RTM uITRON RTC (Python) RTC (Java) RTM Linux RTC (C++) RTC (C++) RTM VxWorks RTC (Python) RTC (C++) RTM Real-time Linux RTC (C++) アプリケーション 操作デバイス センサ ロボットA ロボットB ロボットC ネットワーク RTMにより、 ネットワーク上に 分散するRTCを OS・⾔語の壁を 越えて接続する ことができる。 RTC同⼠の接続 は、プログラム 実⾏中に動的に ⾏うことが出来る。 RTC (C++) RTC (C++) RTM QNX 14
- 15. 15 RTミドルウエアの⽬的 モジュール化による問題解決 • 仕様の明確化 • 最新技術を容易に利⽤可能 • 誰でもロボットが作れる ロボットの低コスト化 多様なニーズに対応 コストの問題 技術の問題 ニーズの問題 ︕ ︕ ︕ ︕ 最新の理論・ アルゴリズム A社製移動ベース B社製アーム C社製センサ・・・ 多様なユーザ システム開発者 カスタマイズが容易に RTコンポーネント化 最新技術を利⽤可能 ロボットシステムインテグレーションによるイノベーション モジュール化・再利⽤ 仕様
- 16. 実⽤例・製品化例 災害対応ロボット操縦シミュレータ︓ NEDO/千葉⼯⼤ S-ONE︓SCHAFT DAQ-Middleware: KEK/J-PARC KEK: High Energy Accelerator Research Organization J-PARC: Japan Proton Accelerator Research Complex HIRO, NEXTAGE open: Kawada Robotics 新⽇本電⼯他: Mobile SEM HRPシリーズ: 川⽥⼯業、AIST RAPUDA︓Life Robotics ビュートローバーRTC/RTC-BT(VSTONE) OROCHI（アールティ） 16
- 17. Practical/commercialization examples Robot operation simulator: NEDO S-ONE︓SCHAFT DAQ-Middleware: KEK/J-PARC KEK: High Energy Accelerator Research Organization J-PARC: Japan Proton Accelerator Research Complex HIRO, NEXTAGE open: Kawada Robotics HRP series: KAWADA and AIST TOYOTA L&F︓Air-T VSTONEʼs education robots OROCHI（RT corp.） 17 THK: SIGNAS system
- 18. RTミドルウェアは国際標準 名称 ベンダ 特徴 互換性 OpenRTM-aist 産総研 NEDO PJで開発。参照実装。 --- HRTM ホンダ アシモはHRTMへ移⾏中 ◎ OpenRTM.NET セック .NET(C#,VB,C++/CLI, F#, etc..) ◎ RTM on Android セック Android版RTミドルウエア ◎ RTC-Lite 産総研 PIC, dsPIC上の実装 〇 Mini/MicorRTC SEC NEDOオープンイノベーションPJで 開発 〇 RTMSafety SEC/AIST NEDO知能化PJで開発・機能安全認 証取得 〇 RTC CANOpen SIT, CiA CAN業界RTM標準 〇 PALRO 富⼠ソフト ⼩型ヒューマノイドのためのC++ PSM 実装 × OPRoS ETRI 韓国国家プロジェクトでの実装 × GostaiRTC GOSTAI, THALES ロボット⾔語上で動作するC++ PSM 実装 × 標準化組織で⼿続きに沿って策定 → 1組織では勝⼿に改変できない安⼼感 → 多くの互換実装ができつつある → 競争と相互運⽤性が促進される OMG国際標準 特定のベンダが撤退しても ユーザは使い続けることが可能 RTミドルウエア互換実装は10種類以上 標準化履歴 • 2005年9⽉ Request for Proposal 発⾏(標準化開始) • 2006年9⽉ OMGで承認、事実上の国際標準獲得 • 2008年4⽉ OMG RTC標準仕様 ver.1.0公式リリース • 2012年9⽉ ver. 1.1改定 • 2015年9⽉ FSM4RTC(FSM型RTCとデータポート標準) 採択 18
- 19. プロジェクトページ • ユーザが⾃分の作品 を登録 • 他のユーザの作った RTCを探すことがで きる 19 タイプ 登録数 RTコンポーネント群 403 RTミドルウエア 14 ツール 27 仕様・文書 6 ハードウエア 28
- 20. サマーキャンプ • 毎年夏に1週間開催 • 今年︓8⽉23⽇〜27⽇開催予定 • 募集⼈数︓20名 • 場所︓産総研つくばセンター • 座学と実習を1週間⾏い、最後に それぞれが成果を発表 • 産総研内のさくら館に宿泊しなが ら夜通し︖コーディングを⾏う︕ 20
- 21. RTミドルウエアコンテスト • SICE SI （計測⾃動制御学会 システムインテグレーション 部⾨講演会 ）のセッションとして開催 開催の可否を検討中 – 各種奨励賞・審査基準開⽰:5⽉頃 – エントリー〆切︓SI2021締切 – 講演原稿〆切︓9⽉ごろ – ソフトウエア登録︓10⽉ごろ – オンライン審査︓11⽉下旬〜 – 発表・授賞式︓12⽉ごろ • 2020年度実績 – 応募数︓5件 – 計測⾃動制御学会学会RTミドルウエア賞 （副賞10万円） – 奨励賞（賞品協賛）︓1件 – 奨励賞（団体協賛）︓8件 – 奨励賞（個⼈協賛）︓5件 • 詳細はWebページ︓ openrtm.org – コミュニティー→イベント をご覧ください 21
- 22. RTC開発の実際
- 23. フレームワークとコアロジック ステレオビジョン ルゴリズム ア コアロジック 右目画像 左目画像 デプスマップ RT ンポーネント レームワーク コ フ RT ンポーネント 準インターフェース コ 標 ステレオビジョン RT ンポーネント コ RT ンポーネント 準インターフェース コ 標 右目画像 左目画像 デプスマップ ＋ ＝ 中身は空 RTCフレームワーク＋コアロジック＝RTコンポーネント
- 25. モデルに基づくコード生成 25 コンポーネント仕様 MyComp temp.sensor device temp. sensor RTC STATIC PERIODIC mode:TimedBool temp: TimedDouble name: category: description: comp_type: act_type: InPorts: OutPorts: Template code generator C++ backend Java backend Python backend RTC-Lite backend RTC source for C++ RTC source for Java RTC source for Python RTC-Lite source for PIC C RTC-Lite proxy code class MyComp : public DataflowComponent { public: virutal onExecute(ec_id); : private: TimedBool m_mode; TimedDouble m_temp; }; import RTC.DataFlowComponent; public class MyCompImpl extends DataFlowComponent { public ConsoleInImpl(mgr) { } : }; #/usr/bin/env python import RTC class MyComp( DataFlowComponent): def __init__(self, manager): : def onExecute(self, ec_id): : #include <16f877a.h> #include "rtc_base.c“ int main (void) { rtc_connect_proxy(); rtc_mainloop(); return 0; } #/usr/bin/env python import RTC class Proxy( DataFlowComponent): def __init__(self, manager): : def onExecute(self, ec_id): : 同一のRTC仕様からは 言語が異なっていても、 同じ（コンポーネントモデ ルの）RTCが生成される
- 27. CMake • コンパイラに依存しないビルド自動化のため のフリーソフトウェア • 様々なOS上の様々な開発環境用ビルドファ イルを生成することができる – Linux では Makefileを生成 – Windows ではVC(Visual C++)のプロジェクトフ ァイルを生成 • 最近のオープンソースソフトウェアでは CMakeでビルドするようになっているものが 多数。 27
- 28. コンポーネント作成の流れ 28 RTBUilder CMake Visual C++ コンポーネントの 仕様の⼊⼒ VCプロジェクトファイル またはMakefileの⽣成 実装およびコンパイル 実⾏ファイルの⽣成 RTBUilder CMake make + gcc (g++) Windows Linux 途中まで流れは同じ、コンパイラが異なる
- 30. 30 30 アクティビティ コールバック関数 処理 onInitialize 初期化処理 onActivated アクティブ化されるとき1度だけ呼ばれる onExecute アクティブ状態時に周期的に呼ばれる onDeactivated 非アクティブ化されるとき1度だけ呼ばれる onAborting ERROR状態に入る前に1度だけ呼ばれる onReset resetされる時に1度だけ呼ばれる onError ERROR状態のときに周期的に呼ばれる onFinalize 終了時に1度だけ呼ばれる onStateUpdate onExecuteの後毎回呼ばれる onRateChanged ExecutionContextのrateが変更されたとき1度だ け呼ばれる onStartup ExecutionContextが実行を開始するとき1度だ け呼ばれる onShutdown ExecutionContextが実行を停止するとき1度だ け呼ばれる
- 31. InPort • InPortのテンプレート第2引数：バ ッファ – ユーザ定義のバッファが利用 可能 • InPortのメソッド – read(): InPort バッファから バインドされた変数へ最新値 を読み込む – >> : ある変数へ最新値を読 み込む リングバッファ バインドされた変数 read() ! " # $ % & ! $ ' ' 最新値 InPort Robot Component Sensor Data 例 基本的にOutPortと対になる データポートの型を 同じにする必要あり
- 32. OutPort • OutPortのテンプレート第2引数： バッファ – ユーザ定義のバッファが利用 可能 • OutPortのメソッド – write(): OutPort バッファへ バインドされた変数の最新値 として書き込む – >> : ある変数の内容を最新 値としてリングバッファに書き 込む リングバッファ バインドされた変数 ! " # $ % () & ' % " ( $ & " ) ) * + $ Port 最新値 Sensor Component Sensor Data 例 基本的にInPortと対になる データポートの型を 同じにする必要あり
- 33. データ変数 struct TimedShort { Time tm; short data; }; struct TimedShortSeq { Time tm; sequence<short> data; }; • 基本型 – tm：時刻 – data: データそのもの • シーケンス型 – data[i]: 添え字によるアクセス – data.length(i): 長さiを確保 – data.length(): 長さを取得 • データを入れるときにはあらかじめ 長さをセットしなければならない。 • CORBAのシーケンス型そのもの • 今後変更される可能性あり 0.2.0では自動で現在時刻を セットしていたが、0.4.0では 必要に応じて、手動でセット する必要あり
- 34. データポートモデル • Connector: – バッファと通信路を抽象化したオブジェクト。OutPortからデータを受け取りバ ッファに書き込む。InPortからの要求に従いバッファからデータを取り出す。 – OutPortに対してバッファフル・タイムアウト等のステータスを伝える。 – InPortに対してバッファエンプティ・タイムアウト等のステータスを伝える。 • OutPort: – アクティビティからの要求によってデータをコネクタに書き込むオブジェクト • InPort: – アクティビティからの要求によってデータをコネクタから読み出すオブジェクト 34 notify full/timeout status notify empty/timeout status
- 35. Push型データポートモデル • Connector – 実際には間に通信が入 る可能性がある • 3つの送信モデル – “new”,“periodic”,“flush” – パブリッシャによる実現 • バッファ、パブリッシャ、 通信インターフェースの 3つをConnectorに内 包 35 ネットワーク等による通信
- 36. Pushポリシー • バッファ残留データ – 送り方のポリシ – データ生成・消費速度を 考慮して設定する必要 がある。 ポリシ 送り方 ALL 全部送信 FIFO 先入れ後だしで1個ずつ送信 NEW 最新値のみ送信 SKIP n個おきに間引いて送信 36 予稿にはNEWの説明にLIFOと記述していましたが正確には LIFOではなく最新値のみの送信です。LIFO形式のポリシを 導入するかどうかは検討中です。ご意見ください。 ALL FIFO NEW SKIP
- 37. サービスポート プロバイダ • インターフェースの実装 • コンポーネントに組み込む（ 宣言） • Portへのバインド コンシューマ • スタブを組み込む • コンシューマを宣言 • Portへのバインド サービス用のインターフェース(IDL)を定義する rtc-templateでコンポーネントを作れば上記のこ とをほとんど気にしないで作れる 用途：他のコンポーネントの提供するサービスを必要なときだけ利用したい時 例：カメラからの画像の取得
- 40. IDLと実装 interface MyRobot { // ゲインをセットする void setPosCtrlGain(in short axis, in double gain); // ゲインを取得する double getPosCtrlGain(in int axis); }; class MyRobot_impl { /* この例ではm_robo はロボットを実際に制御する * クラスのインスタンスであると仮定する. */ void setPosCtrlGain(const int axis, const double gain) { // 位置制御ゲインを設定 m_robo.set_pos_ctrl_gain(axis, gain); } /* 中略*/ }; IDL(CORBA)定義 サービス実装(雛形はrtc-templateによる自動生成)
- 41. サービスプロバイダ・コンシューマ class MyRoboComponent { private: // MyRobot サービスのポートを宣言 RTC::CorbaPort m_port; // MyRobot サービスのインスタンスを宣言 MyRobot_impl m_robot; public: ManipulatorComponent(Manager manager) { // ポートにサービスを登録 m_port.registerProvider("Robo0", "MyRobot", m_robot); // ポートをコンポーネントに登録 registerPort(m_port); } class MyRobotUser { private: // マニピュレータサービスのポートを宣言 RTC::CorbaPort m_port; // サービスコンシューマのインスタンスを宣言 RTC::CorbaConsumer<MyRobot> m_robot; public: any_functions() {// サービスの利用例 // ゲインをセット m_robot->setPosCtrlGain(0, 1.0); // ゲインを表示 std::cout << m_robot->get_pos_ctrl_gain(i) << std::endl; } } MyRobot Service Provider MyRobot Service Consumer Port より詳細な実装については、 サンプルのSimpleServiceを参照
- 42. Configuration • 複数のパラメータを持つ可能性のあるコンポ ーネントで、動的にパラメータ変更を行うこと ができる機能 Rtc-template 引数 (－－config=[名前]:[型]:[デフォルト値]) で指定 例 --config=int_param0:int:0 --config=double_param0:double:1.1 ※これらは”default”という名前のConfigurationSetとしてソースに埋め込まれる • rtc-link上でConfiguration Setを変更可能 • 詳しくはConfigSampleを参照
- 43. Configurationの実装例 ヘッダ 変数宣言 int m_int_param0; double m_double_param0; 実装ファイル 先頭部分：spec定義にて static const char* configsample_spec[] = { :中略 "conf.default.int_param0", “0", "conf.default.double_param0", “1.1", :中略}; onInitialize()にて bindParameter(“int_param0”, m_int_param0, “0”); bindParameter(“double_param0”, m_double_param0, “1.1”); istream operator>>が 定義されている型であ ればどんな型でも可能
- 44. Configuration 名前 値 default 名前 値 mode0 名前 値 mode1 rtc-templateで自動的に生 成され埋め込まれる rtc.confにて : 略 category.component.config_file: comp.conf ：略 comp.confにて conf.mode0.int_param0: 2 conf.mode0.double_param0: 3.14 conf.mode1.int_param0:3 conf.mode1.double_param0: 6.28 conf.mode2.int_param0:4 conf.mode2.double_param0: 12.56 名前 値 mode2 コンポーネントのconfigファイルで 追加することもできる。 （defaultセット同様ソースに埋め込 むことも可能）
- 45. 提⾔ • ⾃前主義はやめよう︕︕ – 書きたてのコードより、いろいろな⼈に何万回も実⾏されたコ ードのほうが動くコードである︕︕ – ⾃分にとって本質的でない部分は任せて、本当にやりたい部分 ・やるべき部分のコードを書こう︕︕ – 誰かがリリースしたプログラムは⼀度は動いたことがあるプロ グラムである︕︕ – ⼈のコードを読むのが⾯倒だからと捨ててしまうのはもったい ない︕︕ • オープンソースにコミットしよう︕︕ – 臆せずMLやフォーラムで質問しよう︕︕ – どんなに初歩的な質問でも他の⼈にとっては価値ある情報であ る。 – 要望を積極的にあげよう︕︕ – できればデバッグしてパッチを送ろう︕ 45
- 46. まとめ • RTミドルウエアの概要 – 基本概念 – モジュール化 – 標準化 – RTMコミュニティー • RTC開発の実際 – テンプレート⽣成→実装 – データポート、サービスポート、コンフィギ ュレーション 46