Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
4 likes3,388 views
2015年06月23日 (火) に TechBuzz Space にて行われた「第32回 Unity 勉強会」での発表資料です。
![開発
Color Camera のデータを取得
FrameDescription frameDescription = sensor.ColorFrameSource
.CreateFrameDescription(ColorImageFormat.Rgba);
byte[] data = new byte[
frameDescription.BytesPerPixel * frameDescription.LengthInPixels
];
ColorFrame frame = reader.AcquireLatestFrame();
if (null != frame) {
frame.CopyConvertedFrameDataToArray(data, ColorImageFormat.Rgba);
frame.Dispose();
frame = null;
}
これで data に画像データが格納される](https://image.slidesharecdn.com/2015062332unity-150623104345-lva1-app6891/85/Unity-meets-Kinect-Unity-NUI-2015-06-23-at-TechBuzz-Space-48-320.jpg)
![開発
IR Camera / IR Projector から骨格情報を取得
BodyFrameReader reader = sensor.BodyFrameSource.OpenReader();
BodyFrame frame = reader.AcquireLatestFrame();
Windows.Kinect.Body[] data =
new Windows.Kinect.Body[sensor.BodyFrameSource.BodyCount];
if (null != frame) {
frame.GetAndRefreshBodyData(data);
frame.Dispose();
frame = null;
}
これで data に認識可能人数分の骨格データが入る
ただし、認識していないデータは null](https://image.slidesharecdn.com/2015062332unity-150623104345-lva1-app6891/85/Unity-meets-Kinect-Unity-NUI-2015-06-23-at-TechBuzz-Space-49-320.jpg)
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
- 1. Unity meets Kinect -Unity で NUI を扱ってみた- 2015.06.23 (Tue) / Unity 勉強会 #32 株式会社キッズスター システムデベロプメントチーム リーダー 森 哲哉
- 2. こんばんは！
- 4. 今日は
- 6. meets
- 8. というコトで
- 10. のおはなしです
- 11. おしながき
- 12. おしながき • Kinect って？ • Unity Kinect の準備 • Unity Kinect の開発 • おまけ
- 13. さて、本題
- 14. の、前に
- 15. 自己紹介
- 16. whoami • 森 哲哉 と申します • a.k.a: もんりぃ / T: @monry / F: monry84 • 30歳 / ♂ / O型 / 天 座 / 既婚 • 趣味は「お酒」と「合唱」です
- 17. whoami • 大学を (自主的に) 卒業後、ベンチャーを転々 • Web のフロントエンド、サーバサイドが得意 • Unity 歴 2 年くらい • インフラ (AWS) も、ちょいちょいやってます • Cocos2d-JS も触ってます
- 18. jobs • 株式会社キッズスター って会社で働いてます • 未就学児∼小学生のお子さまをお持ちの ファミリーをターゲットにした、知育/教育に 関わるアプリ・サービスを展開しております • 「IID 世田谷ものづくり学校」という、 元中学校に入居しております
- 19. office
- 20. office
- 21. apps なりきり!! ごっこランド パズル&テイルズ おかしのくにを つくるのじゃ!! なりきり!! アイスクリーム 屋さんごっこ なりきり!! ママごっこ お弁当をつくろう！ おかしの家を つくろう！ ハンバーガー やさんごっこ 飛行機を 組み立てよう！ i18n i18n i18n i18n ゆかいな お花屋さん App Store / Google Play カテゴリランキング1位 多数獲得！！！ きかんしゃ トーマスと パズルで あそぼう！ キョロちゃん 大冒険
- 22. events
- 23. events
- 24. 今度こそ、本題
- 25. Kinect って？
- 26. Kinect って？ • Microsoft が開発した NUI デバイス • 複数のセンサーを搭載 • v1 と v2 がある
- 27. Kinect って？ 詳しくは ココ 参照
- 28. Kinect って？
- 31. Kinect って？ 更に！！
- 32. Kinect って？ 別売りの Windows PC アダプタ (¥5,378-) も付けて…
- 36. Unity Kinect の準備
- 37. 準備 • 大まかな流れは以下の通り 1. Kinect 買う 2. マシン要件確認 3. SDK インストール 4. Unity Package 取得
- 38. 準備 • Kinect 買う • 買いましょう。 • 届くのをソワソワしながら待ちましょう。
- 39. 準備 • ハードウェア要件 • OS: Windows 8 (64bit) 以降 • 端子: USB 3.0 • CPU: Intel Core i7 3.1GHz 以上 • GPU: DirectX 11 • RAM: 4GB 以上
- 40. 準備 セレブ向けですね！
- 41. 準備 なお、GPU の絡みで Parallels Desktop とかの VM では動きません！
- 42. 準備
- 43. 準備 • SDK インストール • Kinect for Windows SDK 2.0 • Kinect Studio とか色々指示に従ってｲﾝｽｺ • Visual Gesture Builder とか大事
- 44. 準備 • Unity Package 取得 • Unity で Kinect に繋ぐためのスクリプトと DLL が含まれてる • これが、地味に見付けづらい！ • コチラにあります。
- 45. Unity Kinect の開発
- 46. 開発 • 「最低限動かしてみたい！」って場合は • Kinect v2 with MS-SDK (Unity 5.0.1 以上) • FreeKinectV2 Bone (Unity 4.5.5 以上) • 辺りを使えば楽に出来るんじゃないかな？
- 47. 開発 先ずは基本 KinectSensor sensor = KinectSensor.GetDefault(); if (!sensor.IsOpen) { sensor.Open(); } これで、センサーとの接続を確立
- 48. 開発 Color Camera のデータを取得 FrameDescription frameDescription = sensor.ColorFrameSource .CreateFrameDescription(ColorImageFormat.Rgba); byte[] data = new byte[ frameDescription.BytesPerPixel * frameDescription.LengthInPixels ]; ColorFrame frame = reader.AcquireLatestFrame(); if (null != frame) { frame.CopyConvertedFrameDataToArray(data, ColorImageFormat.Rgba); frame.Dispose(); frame = null; } これで data に画像データが格納される
- 49. 開発 IR Camera / IR Projector から骨格情報を取得 BodyFrameReader reader = sensor.BodyFrameSource.OpenReader(); BodyFrame frame = reader.AcquireLatestFrame(); Windows.Kinect.Body[] data = new Windows.Kinect.Body[sensor.BodyFrameSource.BodyCount]; if (null != frame) { frame.GetAndRefreshBodyData(data); frame.Dispose(); frame = null; } これで data に認識可能人数分の骨格データが入る ただし、認識していないデータは null
- 52. 開発 • Visual Gesture Builder って？ • Kinect の骨格認識を用いたジェスチャーの 機械学習補助ツール • Kinect SDK 2.0 に付随 • まだ Preview 版 (Stable まだー？)
- 53. 開発 • Visual Gesture Builder の使い方 • 先ずは Kinect Studio でストリームを記録 • KSConvert.exe で xrf → xef への変換 • Visual Gesture Builder で学習
- 54. 開発 • Visual Gesture Builder の使い方 • 学習結果のデータベース (.gbd) を出力 • Unity Package に含まれる Microsoft.Kinect.VisualGestureBuilder .VisualGestureBuilderDatabase を使って読み込む • 後は頑張るｗ
- 56. おまけ
- 57. おまけ • AR ライブラリと組み合わせると死ねる • Color Sensor は WebCam 扱いにならない • DLL の取り回しが非常に厄介 • 私は metaio と組み合わせようとして爆死
- 58. おまけ • Visual Gesture Builder は Preview 版 • Continuous ジェスチャの学習時に フレーム挿入になるような操作をすると クラッシュ！ • そもそも xrf → xef の変換ﾏﾝﾄﾞｸｾ
- 59. おまけ • BootCamp 行けます！ • MacBook Air (13-inch, Mid 2012) • CPU: 1.8 GHz Intel Core i5 • GPU: Intel HD Graphics 4000 1024 MB • RAM: 8GB
- 60. おまけ • しかし！ • 一定時間以上稼働させると、突然 Kinect が 沈黙する事象が発生 • 熱暴走なのか、MBA との組み合わせの 問題なのかは • Surface Pro 3 で動かした場合は無問題
- 61. おまけ • 「マイクロソフト、Kinect for Windows v2 の 販売を終了」 • 「マジかよ！！！」 • とか思ったけど、"Kinect v2" と Windows 用 アダプタの同梱セットの販売を終了しただけ • 普通に Xbox One 用の Kinect とアダプタを 買いましょう
- 62. Any Questions ?
- 63. Thank you for your attention !!