音声によるデバイスWebAPIの操作
0 likes1,515 views
デバイスWebAPIコンソーシアム 第四回総会 株式会社フュートレック デモ展示
![Copyright 2018 FueTrek Co., Ltd. All rights reserved.
音声＆アクション定義ファイル
接続先ホスト情報の定義
利用するサービスの情報を定義
認識させる発話（コマンド）の定義
コマンドに対するアクションの定義
5
"services":[
{
"ctrlid":"Plarail",
"name":"MaBeee[0-9]+",
"explain":"プラレール"
…
"model":{
"details":[
{
"wordid":"WORD_COMMAND",
"dic":[
{
"command":"SpeedStart",
"words":[
[ "発車", "ハッシャ" ],
]
},
…
"executions":[
{
"commands":[
[ "SpeedStart" ],
],
"actions":[
{
"type":"gotapi",
"ctrlid":"Host",
"profile":"vibration/vibrate",
"method":"PUT",
"parameters":[
{
"name":"pattern",
"type":"long",
"values":[200,100,200]
}
],
"waittime":0.0,
デモ発話 アクション
発車、進め プラレールが動き出す
停車、止まれ プラレールが止まる
加速、速く プラレールの走行速度が上がる
減速、ゆっくり プラレールの走行速度が下がる
青信号 信号機が青になる
赤信号 信号機が赤になる
ブルブル Furueruがバイブする](https://image.slidesharecdn.com/fuetrek-180419050322/85/WebAPI-5-320.jpg)
音声によるデバイスWebAPIの操作
- 1. 音声ソリューション FueTrek Co.,LTD. Copyright 2018 FueTrek Co., Ltd. All rights reserved. 音声によるデバイスWebAPIの操作 2018/4/13 デバイスWebAPIコンソーシアム
- 2. Copyright 2018 FueTrek Co., Ltd. All rights reserved. どうやって動作確認しますか？ デバイスWebAPIでの実装 ・プラグイン開発 ・API公開 ・デバッグ ・パラメータ調整 ここに課題はない プラグインや機器の試験 ・アプリからどう操作する？ ・機器毎にアプリ新規開発？ ・機能追加や調整どうする？ 動かそうとして悩む・・ 商用展開 ・またアプリ作成？ ・拡張性は？ ・メンテナンスは？ デバイス制御出来てもサービ ス展開にハードルがある？ 2 細かい操作は隠蔽し、声だけで操作できるフレームワークを提案 開発者は任意の音声コマンドと対応するアクションだけを定義すれば良い
- 3. Copyright 2018 FueTrek Co., Ltd. All rights reserved. 音声をアクションに変換する仕組み 開発者は音声コマンドとアクションの紐づけを定義するのみ 音声コマンドは何でもOK。定義ファイルを元に言語モデルを生成する 3 音声＆アクション定義ファイル （JSON形式） 音声認識エンジン （端末組み込み型） Speech （音声コマンド） テキスト （アクション） アクション コンバータ WebAPI （操作） 音声認識モデル 音声操作フレームワーク（ライブラリ） デバイス WebAPI
- 4. Copyright 2018 FueTrek Co., Ltd. All rights reserved. デバイス WebAPI 声によるIoT機器操作デモ デバイスWebAPI版（今回のデモ） Symphony版（準備中） 4 スマホ アプリ 音声認識 アクションコンバータ 定義ファイル http デバイス WebAPI プラグイン スマホ（端末） アプリ 音声認識 アクションコンバータ http プラグイン スマホ（G/W） Symphony 定義ファイル
- 5. Copyright 2018 FueTrek Co., Ltd. All rights reserved. 音声＆アクション定義ファイル 接続先ホスト情報の定義 利用するサービスの情報を定義 認識させる発話（コマンド）の定義 コマンドに対するアクションの定義 5 "services":[ { "ctrlid":"Plarail", "name":"MaBeee[0-9]+", "explain":"プラレール" … "model":{ "details":[ { "wordid":"WORD_COMMAND", "dic":[ { "command":"SpeedStart", "words":[ [ "発車", "ハッシャ" ], ] }, … "executions":[ { "commands":[ [ "SpeedStart" ], ], "actions":[ { "type":"gotapi", "ctrlid":"Host", "profile":"vibration/vibrate", "method":"PUT", "parameters":[ { "name":"pattern", "type":"long", "values":[200,100,200] } ], "waittime":0.0, デモ発話 アクション 発車、進め プラレールが動き出す 停車、止まれ プラレールが止まる 加速、速く プラレールの走行速度が上がる 減速、ゆっくり プラレールの走行速度が下がる 青信号 信号機が青になる 赤信号 信号機が赤になる ブルブル Furueruがバイブする