Kinect introduction

初めての
KINECT + OpenNI
プログラム

Ver.1.1 2012/01/17
KINECT introduction by Geis Co. Ltd. is licensed under a Creative Commons - - 2.1 License.

⾃自⼰己紹介
中村薫
株式会社ゲッシュ (http://www.geis.co.jp/)
• Windows ⽤用のセキュリティソフトウェアの受託開発
• NUIデバイスを利利⽤用したアプリケーション開発
• Scrumなどのアジャイルな開発⼿手法を利利⽤用した現場改善
• 新⼈人研修やセミナー講師
• nakamura.kaoru@geis.co.jp

⾃自⼰己紹介


⾃自⼰己紹介

BP NE
http://techon.nikkeibp.co.jp/article/SEMINAR/20111021/199596/

⾃自⼰己紹介

http://www.atmarkit.co.jp/fdotnet/special/comparekinect01/comparekinect01_01.html


免責事項

本スライドの内容による、
いかなる損害も負いません。
⾃自⼰己責任の上、ご利利⽤用ください。


KINECTとは

•Microsoft社が発売しているXbox 360ゲーム
機のコントローラー

•ゲームを操作する際に、「コントローラーを持
つ必要がない」ことが特⻑⾧長


KINECTの販売台数
世界累累計

• 60⽇日で800万台

•5か⽉月で1,000万台

•1年年で1,800万台

KINECTセンサー


機能
•RGBおよび、距離離カメラ
•⾳音声および、⾳音声⽅方向の取得
•カメラ⾓角度度の変更更
•ユーザーおよび、⾻骨格の認識識
•ジェスチャーの認識識

RGBおよび距離離カメラ


⾳音声および⾳音声⽅方向の取得


ユーザーおよび⾻骨格の認識識


ジェスチャーの認識識


NUI

•KINECTのように、体の⾃自然な動作でコン
ピューターを操作することをNUIと呼ぶ

•WiiやPlaystaion Move、iPhoneやiPadな
どのインタフェース


NUI

•NUIとはNatural User Interfaceの略略であ
り、「ユーザーに⾃自然なインタフェース」で
ある

•NIと略略される、Natural Interactionも同
じような意味を持つ


何ができる？


ユーザーインタフェース

http://www.youtube.com/watch?v=HK7x9lKRt8g

ユーザーインタフェース

http://www.youtube.com/watch?v=x5-OcU56HOE

アパレル


遠隔操作

http://www.youtube.com/watch?v=bJFut8bzAXQ

福祉

NAIST Ballpool

舞台

http://www.uga-web.com/sb/


プロジェクション・マッピング

http://www.youtube.com/watch?v=k8nblUJwqkQ

教育


KINECTで変わる未来


さまざまなデバイスへの搭載

http://www.ionroad.com/


コンピューターの変化

http://www.chrisharrison.net/index.php/Research/OmniTouch

リアルとバーチャルの融合

http://channel9.msdn.com/coding4fun/kinect/Kinect--3D--Fusion4D

コンピューター
との関わり


学ぶものから
感じるものへ

アプリケーション
開発環境


キーワード


KINECT


購⼊入時の注意

KINECTのインタフェースはUSBではない。
コンピューターに接続する際は、変換アダプタが必要。

購⼊入時の注意

Xboxとのセットを買うと、USB変換ケーブルが付属していない。
コンピューターに接続する場合は、KINECT単体版を購⼊入すること。


ライセンス

KINECT


Xtion Pro


Xtion Pro LIVE


機能

•RGBおよび距離離カメラ
•ユーザーおよび⾻骨格の認識識
•⾳音声の取得
•USB接続/バスパワー動作


ライセンス

禁⽌止事項などは無い
商⽤用利利⽤用が可能


KINECT for Windows SDK

• KINECT for Windows SDKはMicrosoft社が
公式にリリースしているKINECT専⽤用のSDK。

• 2011年年12⽉月現在はBeta2となっており⾮非商⽤用
限定だが、2012年年の早い時期に商⽤用版がリリー
スされるとアナウンスがある。


OpenNI


概要

OpenNIとは、KINECTやXtionに搭載されて
いるチップを設計しているPrimeSnese社や、
OpenCVのWillow Garage社などが提供して
いるライブラリ


概要

⼀一般的にOpenNIという場合は

• APIの「OpenNI」
• ミドルウェアの「NITE(ナイト)」
• ドライバの「Sensor」
この3つを合わせたものを指す。


概要
• 正確には、KINECT⽤用のライブラリではない
• Xtion⽤用のライブラリ/ドライバセット
• KINECTで利利⽤用する際は、オープンソースで
提供されている⾮非公式のドライバを使⽤用する
必要がある
• https://github.com/avin2/SensorKinect


機能

•RGBおよび距離離カメラ
•ユーザーおよび⾻骨格の認識識
•⾳音声の取得
•ジェスチャーや⼿手の動きを認識識


ライセンス

• GPL/LGPLのデュアルライセンス
• LGPLであれば、商⽤用利利⽤用も可能
• ライブラリの改変は、公開の必要がある


OpenNIの概要


OpenNIの構成

•Context
•Generator
•MetaData
•Capability


Context

• OpenNIライブラリの初期化や、デバイ
スの初期化を⾏行行う

• GeneratorはContextを通してインス
タンスが⽣生成される


Context

クラス名概要

OpenNIの初期化やノード(デバイス)の初期化
Context
を⾏行行う


Generator

•デバイスの機能ごとに分かれている
•デバイスデータの取得や設定の変更更、
取得などを⾏行行う


Generator
クラス名概要

ImageGenerator RGBカメラのデータの取得や設定を⾏行行う

DepthGenerator 距離離カメラのデータの取得や設定を⾏行行う

UserGnerator ユーザーの追跡のデータの取得や設定を⾏行行う

HandsGenerator ⼿手の追跡や設定を⾏行行う

GestureGenerator ジェスチャーの検出や設定を⾏行行う


Generator
クラス名概要

SceneAnalyzer 床の検出や設定を⾏行行う

AudioGenerator ⾳音声のデータ取得や設定を⾏行行う

IRGenerator ⾚赤外線のデータ取得や設定を⾏行行う

Recorder RGBカメラと距離離カメラのデータを記録する

Player Recorderで記録したデータを再⽣生する


MetaData

•デバイスの機能ごとに分かれている
•データそのものを扱う
•Generatorから取得する


MetaData
クラス名概要

ImageMetaData RGBカメラのデータ

DepthMetaData 距離離カメラのデータ

SceneMetaData ユーザーや床のデータ

AudioMetaData ⾳音声のデータ

IRMetaData ⾚赤外線のデータ


Capability

•付加機能を提供する
•ミラー処理理やポーズの検出、⾻骨格検出
などを⾏行行う


Capability
クラス名概要

視点機能(RGBと距離離カメラの座標を
AlternativeViewPoint
合わせる)

MirrorCapability ミラー機能

PoseDetectionCapability ポーズの検出機能

SkeletonCapability ⾻骨格の検出、追跡機能


NITEの概要


NITEの構成

•Session
•Detector


Session

•NITEのジェスチャー検出は、セッショ
ンという範囲で⾏行行われる


Session

クラス名概要

SessionManager セッションの開始や終了了を制御する

MultiProcessFlowClient マルチプロセスでのデータの受信側


Detector

•ジェスチャーの検出器


Detector
クラス名概要

XnVWaveDetector ⼿手の左右動作を検出する

XnVPushDetector ⼿手の前後動作を検出する

XnVCircleDetector ⼿手の円動作を検出する

⼿手の上、下、右、左、前、後ろの各
XnVSwipeDetector
動作を検出する

XnVSteadyDetector ⼿手の静⽌止を検出する

Hello OpenNI!!


⼿手を振ると”Hello”と表
⽰示するアプリ


ソースコード


// see : http://arena.openni.org/OpenNIArena/Applications/ViewApp.aspx?app_id=424
#include <iostream>

#include <XnOpenNI.h>
#include <XnVNITE.h>

//
static void XN_CALLBACK_TYPE SessionDetected( const XnChar* strFocus,
const XnPoint3D& ptPosition, XnFloat fProgress, void* UserCxt )
{
std::cout << "SessionDetected:" << strFocus << "," << fProgress << std::endl;
}

// Wave
static void XN_CALLBACK_TYPE WaveCB( void* pUserCxt )
{
std::cout << "Hello OpenNI & NITE World!!" << std::endl;
}

void main( int argc, char* argv[] )
{
// OpenNI
xn::Context context;
XnStatus ret = context.InitFromXmlFile( "SamplesConfig.xml" );

// NITE
XnVSessionManager sessionManager;
ret = sessionManager.Initialize( &context, "Wave", "RaiseHand" );
sessionManager.RegisterSession( 0, &SessionStart, 0 , 0 );

// Wave
XnVWaveDetector wave;
wave.RegisterWave( 0, &WaveCB );
sessionManager.AddListener( &wave );

//
while ( true ) {
//
context.WaitAndUpdateAll();
sessionManager.Update( &context );
}
}

インクルードファイル
#include <XnOpenNI.h>
#include <XnVNITE.h>


OpenNIの初期化
// OpenNI
xn::Context context;
XnStatus ret =
context.InitFromXmlFile("SamplesConfig.xml");


NITEの初期化
// NITE
XnVSessionManager sessionManager;
ret = sessionManager.Initialize( &context,
"Wave", "RaiseHand" );


セッション遷移を通知する
コールバックの設定

sessionManager.RegisterSession( 0,
&SessionStart, 0 , 0 );


セッション開始のコールバック
//
static void XN_CALLBACK_TYPE SessionDetected(const XnChar* strFocus,
const XnPoint3D& ptPosition,XnFloat fProgress, void* UserCxt )
{
std::cout << "SessionDetected:" << strFocus <<
"," << fProgress << std::endl;
}


Waveジェスチャーの検出設定
// Wave
XnVWaveDetector wave;
wave.RegisterWave( 0, &WaveCB );
sessionManager.AddListener( &wave );
実際にジェスチャーを検出させてみましょう。セッションの開始にWaveを使っていま
すので、そのままWaveジェスチャーを検出させてみます。ジェスチャーの検出は、
ジェスチャーごとに検出⽤用のクラスが⽤用意されています。今回はWaveを検出させるの
でXnVWaveDetectorを使⽤用します。ジェスチャーを検出させるための準備は、⼤大ま
かに次の四ステップとなります。
1.ジェスチャー検出器を作成する
2.ジェスチャー検出器の設定をする(オプション)
3.ジェスチャーを検出した際のコールバックを設定する
4.セッションマネージャーにジェスチャー検出器を登録する


Waveジェスチャーの検出

// Wave
static void XN_CALLBACK_TYPE WaveCB( void* pUserCxt )
{
std::cout << "Hello OpenNI & NITE World!!" << std::endl;
}


メインループ
//
while ( true ) {
//
context.WaitAndUpdateAll();
sessionManager.Update( &context );
}


SamplesConﬁg.xml


ありがとうございました

miyagi.hideto@geis.co.jp
nakamura.kaoru@geis.co.jp

Kinect introduction

More Related Content

What's hot (20)

Viewers also liked (9)

Similar to Kinect introduction (20)

More from Kaoru NAKAMURA (20)

Kinect introduction