IBM Blluemix を Pepper とつないでみよう

IBM Bluemix を Pepper とつないでみよう
2016/10/31
株式会社スマートロボティクス
Pepper x Bluemixハンズオンワークショップ＆デモ

Smart Robotics CO.,LTD. 2016 All rights reserved
内容
• IBM Bluemixとの連携その様々な⼿法
• Node-RED を使って Pepper と Bluemix を連携
• HTTPリクエスト(1)単純な HTTP リクエスト
• HTTPリクエスト(2)画像データの送信
(Watson Visual Recognition で画像認識)
• HTTPリクエスト(3)⾳声データの送信
(Watson Speech To Text で⾳声認識)
• HTTPリクエスト(4)データの保存
• WebSocket 通信
• 外部サービスを Node-RED 経由で利⽤
• Bluemix 各サービスAPIに直接アクセス
• 例：Watson Speech To Text の Websocket インターフェースを使う
• サービス提供の SDK を使う
• Watson SDK
• Pepper のタブレット
2

IBM Bluemixとの連携
その様々な⼿法
3

Pepper とのサービス連携
• Web API にアクセス or サービス提供のSDK を使う？
• Web API にアクセス
• REST API が提供されている場合、HTTP リクエストを⽤いてクラウドサービスと連携する
• その他、連携のためのプロトコルが公開されている場合、それらを⽤いてクラウドサービス
連携する
• WebSocket
• MQTT
• など
• サービス提供の SDK をプロジェクトを使う
• Linux で稼働する Python SDK があれば Pepper で利⽤できる可能性⾼い
• それぞれの SDK に仕様上の特性あり。使いこなせれば開発が楽
4

⼿法連携⽅法
サービスを利⽤する
ための認証
ロジック
適⽤場⾯
各サービスの API
に直接アクセス
Web API にアク
セス
Pepper が⾏う Pepper 側で実装ミニマムのシステム構
成でシステムを構築し
たい場合。API の機能
を最⼤限利⽤したい場
合
Node-RED を使う Node-RED が⾏う Node-RED 側と
Pepper 側で分散可能
ラピッドプロトタイピ
ングに適したソリュー
ション
サービス提供の
SDK を使う
SDK をプロジェ
クトに取り込む
Pepper が⾏う（SDK
を使って）
Pepper 側で実装 • Watson Developer
Cloud Python SDK
• Bluemix 全体に関す
る Python での
SDK 提供はない。
IBM Bluemix と Pepper の連携
5

⼿法連携⽅法
ための認証
ロジック
適⽤場⾯
Web API にアク
セス
合
ション
SDK を使う
SDK をプロジェ
を使って）
Cloud Python SDK
る Python での
6

Node-RED を使って
Pepper と Bluemix を連携
7

Pepper から Web API へのアクセス
• Python 標準ライブラリ or 外部モジュール利⽤
• 標準ライブラリを使った場合実装が煩雑になりがち
• 今回は HTTP アクセスのモジュールとして requests、WebSocket の
モジュールとして liris/websocket-client を利⽤
8

サンプルアプリケーション
9
プロジェクト名概要
01simplehttprequest 単純な HTTP リクエスト
02uploadimage 画像を Node-RED に送る
03uploadaudio ⾳声データを Node-RED に送る
04downloadfile バイナリデータを Node-RED からダウンロードする
05websocket WebSocket で通信をする
06useotherservice Node-RED を介して外部 WebAPI を使う

HTTPリクエスト(1)
単純な HTTP リクエスト
10
01simplehttprequest

Simple HTTP request ボックス
11
1. プロパティー url に適当な URL を設定して、実⾏結果を確認。（「ログビューア」に結果が出る）
アプリ起動後
ダブルクリック
URL を設定

Simple HTTP request ボックス
12
2. スクリプトエディタでスクリプトを確認

Simple HTTP request + Node-RED
13
1. Node-RED 側で HTTP リクエストの受け⼝作成

Simple HTTP request + Node-RED
14
2. Pepper アプリプロジェクト、Simple HTTP Request 接続先を Node-RED の HTTP request
ノードに
3. 実⾏して結果を確認

Pepper のクラウド連携 Tips.1 – Say Text
15
出⼒内容を Pepper に発話させるには Say Text ボックス（⾝振りなし）または Animated Say
ボックの中にある Animated Say Text （⾝振りあり）ボックスを使うのが楽
コピー＆ペーストで
発話内容はバーチャルロボットでは「ダイアログ」ビューで確認できる

画像データの送信
(Watson Visual Recognition で画像認識)
16
02uploadimage

Watson Visual Recognition で画像認識
17
1. IBM Bluemix コンソール、カタログ Watson の中の Visual Recognition を選択

Watson Visual Recognition で画像認識
2. Connect to で Node-RED アプリケーションを選択し [Create] ボタンでサービス作成
3. アプリケーションをリステージして、サービスを有効にする

Node-RED で Pepper とのインターフェースを作成
19
1. Node-RED 側で HTTP リクエストで受け⼝、Visual Recognition につなぎ結果をレスポンスで返す

Pepper側 - Update file ボックスで画像ファイルを送る
1. 認識させる画像をプロジェクトに取り込む
20
２. Upload file ボックス、ʻupload urlʼ に Node-RED のアクセスポイント、
ʻsrc fileʼ にプロジェクトに保存したイメージファイル、 ʻcontenxt-typeʼ に
image/jpg を設定

Pepper側 – 動作確認⽤の接続
3. Upload file ボックスは結果を ʻoutputʼ 出⼒に出⼒する
これを Log ボックスにつなげてることで出⼒内容をログビューアで
⾒る事ができる
21

Pepper のクラウド連携 Tips.2 – JSON モジュール
22
Watson Vision Recognition は結果を JSON 形式で返します。
JSON 形式のデータのやり取りには json モジュールの利⽤が便利です。
※ json.loads でデコードされたディクショナリオブジェクトの中の⽂字列は unicode ⽂字列、
⼀⽅ Pepper は⽂字列を str 型で扱う必要があるため、⽂字列のエンコードが必要
例： json ⽂字列 jsonStr から result の内容を取り出す
jsonObj = json.loads(jsonStr)
result = jsonObj[”result”].encode(“utf-8”)
json.loads( JSON形式⽂字列) JSON 形式の⽂字列を python のオブジェクト
（ディクショナリオブジェクト）に変換
json.dumps(ディクショナリオブジェクト) python のオブジェクト
（ディクショナリオブジェクト）をJSON形式の
⽂字列に変換
・・・・・
・・・・・

JSON モジュールを⽤いた結果データのパース処理例
1. Vision Reco JSON parts ボックス
Watson Visual Recognition からの結果をパース
23

Pepper が撮った写真を画像認識
※この実装を動作確認するためには実機での実⾏が必要です
・ ʻTake Picture custʼ ボックス
（ʻTake Picture custʼ ボックスは
Take Picture ボックスをベースに
撮った写真をプロジェクトフォルダー
内に保存するようにカスタマイズ
したボックスです）
・プロジェクトに html フォルダーを
作りそこに写真を保存するように
すれば、タブレット表⽰と画像認識を
同じ写真で⾏うことが可能です
24

⾳声データの送信
(Watson Speech To Text で⾳声認識)
25
03uploadaudio

Speech to Text で⾳声認識
26
1. IBM Bluemix コンソール、カタログ Watson の中の Speech To Text を選択、アプリに追加

Node-RED で Pepper とのインターフェースを作成
27
1. Node-RED 側で HTTP リクエストで受け⼝、Speech to Text につなぎ結果をレスポンスで返す

1. 認識させる⾳声データをプロジェクトに取り込む
Pepper側 - Update ファイルボックスで⾳声ファイルを送る
２. ʻUpload fileʼ ボックス、upload url に Node-RED のアクセスポイント、src file
にプロジェクトに保存した⾳源ファイル、ʻcontenxt-typeʼ に audio/wav を設定
３. ʻSay To Textʼ ボックス、または ʻLogʼ ボックスにつなげて結果を確認
※⾳源データは wav 形式でサンプリングレート 16000Hz のモノラルで
ある必要があります。

Pepper が録⾳した⾳声を⾳声認識
※この実装を動作確認するためには実機での実⾏が必要です
・ ʻRecord Sound custʼ ボックス
（ʻRecord Sound custʼ ボックスは
ʻRecord Soundʼ ボックスをベースに
録⾳した⾳声をプロジェクトフォルダ
内に保存するようにカスタマイズ
したボックスです）
・保存するファイル名をプロパティで
設定（拡張⼦はつけません）
29

データの保存
30
04downloadfile

Download file ボックスを使ってHTTPレスポンスをファイルに保存
31
• 例えば Watson Text to Speech が⾳声合成した⾳声データを Pepper
本体に保存、再⽣

WebSocket 通信
32
05websocket

WebSocket ボックスを使って Node-RED と通信
33
出⼒⼊⼒
⼊⼒
出⼒
形式は ws://サーバー/パス
Node-RED Pepper (Choregraphe)
直結するとおうむ返し
WebSocket を使って、双⽅向、リアルタイムの通信を実現

外部サービスを
Node-RED 経由で利⽤
34
06useotherservice

Node-RED 経由で Google Cloud Vision API を呼んでみる
35
※：Vision API の有効化、API キーの設定は https://console.developers.google.com/ から
Google Cloud のAPIキー

⼿法連携⽅法
ための認証
ロジック
適⽤場⾯
Web API にアク
セス
合
ション
SDK を使う
SDK をプロジェ
を使って）
Cloud Python SDK
る Python での
36

各サービスの API に
直接アクセス
37

各サービスの API に直接アクセス利点と⽋点
• 利点
• 各サービスAPI に直接アクセスすることで機能を最⼤限利⽤できる
• 最⼩限のシステム構成でシステム構築
• ⽋点
• リクエスト、レスポンスのデータ整形を Pepper で⾏う必要あり。
• サービスを利⽤するための認証情報を Pepper 側で保持しなければならない
• 安全に、セキュアに認証情報を保存する仕組みが必要
38

例：Watson Speech to Text の WebSocket インターフェースを使ってライブSTT
39
• Speech to Text のサービスクレデンシャルを作成

例：Watson Speech to Text の WebSocket インターフェースを使ってライブSTT
40
• Pepper アプリサンプル watson_live_stt_sample1
• Watson STT が認識した⾳声をおうむ返しで返します。
STT との通信はサービスとして実装
サービスを起動
サービスを呼び出し
サービスに与えるパ
ラメータ。Watson
STT の userid /
password を設定
※サービスの実装は次の Watson の記事を参考にしました
https://www.ibm.com/blogs/watson/2016/07/getting-robots-listen-using-watsons-speech-text-service/

⼿法連携⽅法
ための認証
ロジック
適⽤場⾯
Web API にアク
セス
たい場合・API の機能
合
ション
SDK を使う
SDK をプロジェ
を使って）
Cloud Python SDK
る Python での
41

サービス提供の SDK を使う
42

外部モジュールの取り込み⽅
43

外部モジュールの取り込み
• ⽅針：
• プロジェクトに任意のフォルダを作成（例：lib）
• フォルダに外部モジュールのファイルを保存
• プロジェクト実⾏時に python のモジュール参照パスに任意のフォルダを追加
• 注意点：
• アプリの実⾏は Pepper 本体で⾏われる。 Pepper 本体は Intel Atom CPU 上
で動く Gentoo Linux。この環境で動くファイルが⼀通りフォルダ内にそろって
いる必要あり。特にネイティブコードを含むモジュールなど注意が必要
• ⼿法：
• ⼿法１：モジュールがアーカイブされているものはこれを⼊⼿
• ⼿法２：pip を使う場合はインストール先を指定、アウトプットを取り込む
• pip install --install-option="--prefix=$PREFIX_PATH" package_name
• ⼿法３：NAOqi バーチャルマシンを使ってインストールイメージを作る
44

Watson Developer Cloud の python SDK を使う
• http://www.ibm.com/watson/developercloud/
45

サンプルプログラム
46

Pepper のタブレット
47

タブレットの活⽤
• 活⽤シーン：
• ⾳声認識ではうまくコミュニケーションが取れない場合の補助
• 既存 Web サービス画⾯の活⽤
• 機能：
• 画像の表⽰
• タッチ位置の検出
• HTML ページの表⽰
• ビデオファイルの再⽣（ただし⾳はタブレットからしか出ない）
• プロジェクトのファイルをタブレットに表⽰させることも、外部のリソースを
開くことも可能
48

例：プロジェクトのファイルを開く
49
• プロジェクトの中のHTMLフォルダー内のファイルを開くことができる
• 例えばアプリが撮った写真をタブレットに表⽰したい場合、プロジェク
トの HTML フォルダー内に保存すればいい。
• キャッシュに注意
• URL の末尾に ?乱数でキャッシュブレーク
• イメージの表⽰は ALTabletService.showImage() の代わりに
ALTabletService.showImageNoCache() を使う

例：外部ファイルを開く
50
• HTML ページについては標準ではボックスがないので標準ボックスをカ
スタマイズして
• 例えば Show Web View ボックス、スクリプトで showWebView を
呼び出しているところの引数に URL を与える

終わり
51

IBM Blluemix を Pepper とつないでみよう

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to IBM Blluemix を Pepper とつないでみよう (20)

IBM Blluemix を Pepper とつないでみよう