タッチ操作の挙動分析による行動・感情認識
Download as PPTX, PDF1 like1,054 views
2013年のHASCシンポジウム（http://hasc.jp/hc2013/symposium.html）での講演資料です．
タッチ操作の挙動分析による行動・感情認識
- 2. スマートフォンを用いた行動認識 • スマホに内蔵されたさまざなセンサを駆使 • 加速度 • 地磁気 • 重力 • 気圧 • ジャイロ • 近接 • 輝度 • マイク • NFC • 回転ベクトル • 放射線 • カメラ
- 4. サンドボックス Sandbox • セキュリティのための概念 • アプリ間は強制的に分離 • 他のアプリ上でのタッチ操作を監視できない Logging App. App.1 Android OS
- 5. 手法の検討 手法１：Custom Android OS – InputManagerを改造すればロギングは簡単にできそう – カスタムROMの普及は難しい 手法２：Android OSの手前でフック – イベントデバイスファイル (/dev/input/xxxx)を監視 – アプリからはRoot権限が必要 – adb経由（USB接続）だと，Root権限不要で丸見え
- 6. イベンドデバイスファイル • タッチ操作に関するファイルの在処 – 基本：/dev/input/eventX – X：機種依存 機種 Android OS X Galaxy Nexus 4.2.1 1 Galaxy S2 4.0.3 2 Galaxy S3 4.0.2 6 Galaxy Note2 4.1.2 2
- 7. イベントデバイスドライバの逆解析 • 一見，よくわからない • 複数行で１つのタッチ操作 • 機種により一部フォーマットが違う 101000-325592: 0003 0032 0000000a 101000-325592: 0003 0035 0000011b 101000-325592: 0003 0036 000002e3 101000-325592: 0003 0030 0000000e 101000-325592: 0003 0031 00000009 101000-325592: 0003 003c ffffffd3 101000-325623: 0000 0000 00000000 101000-337007: 0003 0035 0000012a 101000-337007: 0003 0036 000002d8 101000-337007: 0003 0030 0000000c 101000-337007: 0003 003c ffffffe7 101000-337037: 0000 0000 00000000 101000-348696: 0003 0035 00000142 101000-348696: 0003 0036 000002c3 101000-348696: 0003 0031 00000007 101000-348696: 0003 003c ffffffbd 101000-348696: 0000 0000 00000000 101000-360324: 0003 0032 0000000b 101000-360324: 0003 0035 00000164 101000-360324: 0003 0036 000002a8 101000-360324: 0003 0030 0000000f 101000-360324: 0003 0031 0000000b 101000-360355: 0003 003c 0000005a 101000-360355: 0000 0000 00000000 101000-371800: 0003 0032 0000000d 101000-371800: 0003 0035 0000018c 101000-371831: 0003 0036 00000286 101000-371831: 0003 0030 00000010 101000-371831: 0003 0031 00000009 101000-371831: 0003 003c 00000000 101000-371831: 0000 0000 00000000 101000-383672: 0003 0032 0000000b 101000-383703: 0003 0035 000001b6 101000-383703: 0003 0036 00000269
- 8. Touch Analyzer（現在ベータ版） • USBでスマホに繋ぐだけでロギングOK • 代表的なタッチ操作の認識 – シングルタッチ・マルチタッチ – シングルスワイプ・マルチスワイプ – ピンチイン・ピンチアウト・ローテート • 記録・再生（可視化） • 統計処理 – 頻度，平均速度，平均圧力 – アプリケーションごとの集計
- 9. 完成予想図
- 16. タッチ操作コンテキストの応用 • 操作スキルの定量化 – タッチ操作ログをクラウドで統計分析 – 各ユーザのスキルを定量化 操作スキルに応じて変化していく ユーザインターフェース • タッチ操作による個人識別 • 感情を理解するコンシェルジュアプリ
- 17. おわり • 今後の予定 – ツールを完成させる • PC版だけでなく，スマホ完結版も – HASCで培われた分析手法を適用