Interactive Application using Kinect and Android

How to MAKE
HVC-C
Protyping Application
Hirotaka Niisato

about myself
・Hirotaka Niisato(@hirotakaster)
・GMO Internet, SIProp(OSS Project)
・Programmer
・Work
Robotics, Networking, Interactive App, Sensor…etc

work
brain maze
sephirot
slime lamp
scanning drone

Maker Faire at 2014
Shenzhen BayArea
Taipei Tokyo

HVC-C Prototyping App
笑顔のクリスマス
顔の状態を取得して
リモートでLEDをピカピカ

Archtecture
Sensor
HVC-C/Mobile Battery
iPhone
Xcode, openFrameworks 0.8.4(latest)
MQTT Kit
Christmas Tree
Spark Core, MQTT Client, LED

Archtecture
HVC-C
Mobile
Battery
iPhone
Bluetooth
MQTT
Server
Spark
Core
LED
WiFi WiFi
Subscribe/Publish

openFrameworks
・クリエイティブ向けの C++ Toolkit
・Win/Mac/Linux/iOS/Androidで動作
・HVC-Cの処理(データ)と処理(oF側)の分離
→oFでラップしてしまえばソースは変えず
にどの環境でも動かす事が出来るはず
※ source codeを参照

MQTT
・IBMが開発＆オープンにした軽量Pub/Sub
・軽量、低遅延、リアルタイム処理向け
IoTを支えるプロトコルの１つ
・HTTPに比べて1/10∼1/100軽量
(2byteだけのヘッダ)
Facebook Messengerで実装されている

Archtecture.(MQTT)
HVC-C
Mobile
Battery
iPhone
Bluetooth
MQTT
Server
Spark
Core
Subscribe/Publish
EXPRESSION_ESTIMATIONだけ
Win,Mac
全部取得
LED
DB
Linux
AGE_ESTIMATIONだけ
処理
Publish側を作ってしまえば、プラットフォーム/言語
非依存でセンサーの実装をリアルタイムで行える

oFとMQTTを使う利点
１. データ処理とUIの分離
!
２. 同じソースコードで色んな環境で動く
!
３. データ処理(センサー)実装はMQTTのみ
→センサーデータを使いたい人はSubscribe
してリアルタイムデータ制御を行える
→開発の裾野が大きく広がる

HVC-Cでの他の開発(おまけ)
・Let s Play with Intel Edison!!
SDK内のソースにHVC-C側とのコマンド
が書いてある通りに作ればOKっぽそう
NodeJS、Nobleで接続して通信する所まで
は確認済(間違ってソースをrm…orz)
MacOSでもbrew installして開発で使える。

Interactive Application using Kinect and Android

More Related Content

More from Hirotaka Niisato (20)

Interactive Application using Kinect and Android