7. クッションのセンサ化
UIST 2011
Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft
objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM,
509-516, October 16-19, 2011, Santa Barbara, CA, USA.
7
8. クッションのセンサ化
UIST 2011
8
Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft
objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM,
509-516, October 16-19, 2011, Santa Barbara, CA, USA.
9. クッションのセンサ化
UIST 2011
9
Yuta Sugiura, Gota Kakehi, Anusha Withana, Calista Lee, Daisuke Sakamoto, Maki Sugimoto, Masahiko Inami, and Takeo Igarashi, Detecting shape deformation of soft
objects using directional photoreflectivity measurement, In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST ’11), ACM,
509-516, October 16-19, 2011, Santa Barbara, CA, USA.
11. カーペットのキャンバス化
UIST 2014
11
Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings
of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
12. カーペットのキャンバス化
UIST 2014
12
Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings
of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
13. カーペットのキャンバス化
UIST 2014
13
Yuta Sugiura, Koki Toda, Takayuki Hoshi, Youichi Kamiyama, Takeo Igarashi, and Masahiko Inami, Graffiti fur: turning your carpet into a computer display, In Proceedings
of the 27th annual ACM symposium on User interface software and technology (UIST ’14), ACM, 149-156, October 5-8, 2014, Hawaii, USA.
21. • MRIなどの画像検査
• 症状の有無を簡易に判断するス
クリーニング手法
• 10秒テスト [*]
• 頚髄症スクリーニングの代表的手法
• 手指の高速な開閉運動(グーパー運
動)における敏捷性などを評価
• 10秒間の反復回数が概ね20回以下の場
合,頚髄症の疑いありと判断
頚髄症の発見・診断手法
21
[*] Cook, C., et al.: Reliability and diagnostic accuracy of clinical special tests for myelopathy in patients seen for cervical dysfunction. The Journal of Orthopaedic and
Sports Physical Therapy 39(3), 172–178 (2009).
[**] Ono, K., et al.: Myelopathy hand. New clinical signs of cervical cord damage. The Journal of Bone and Joint Surgery, British Volume 69(2), 215–219 (1987).
グーパー
運動の
イメージ
圧迫された頚髄の
MRI画像 [**]
実際の患者の動作
22. • カメラ映像を用いた頚髄
症のスクリーニング
• 手軽に利用できるスク
リーニング手法
• 身近にあるスマートフォン
の内蔵カメラを利用
• 従来手法と比較して高い
分類性能を実現
• 感度:90%
• 特異度:93%
研究の概要
22
提案手法の流れ
グーパー運動の撮影
Ryota Matsui, Takafumi Koyama, Koji Fujita, Hideo Saito, Yuta Sugiura, Video-Based Hand
Tracking for Screening Cervical Myelopathy, ISVC 2021.
33. • 画面上のキャラクタの出現に合わせて母指を動かす
• 母指の画面上の座標データから特徴量を抽出
33
モバイル端末で手根管症候群を推定できるか?
Koji Fujita*, Takuro Watanabe*, Tomoyuki Kuroiwa, Toru Sasaki, Akimoto Nimura, and Yuta Sugiura(*Koji Fujita and Takuro Watanabe are joint first authors),A Tablet-
Based App for Carpal Tunnel Syndrome Screening: Diagnostic Case-Control Study,Journal of Medical Internet Research - Mobile Health and Ubiquitous Health, Vol.7,
Iss.9, e14172,2019
34. • Support Vector Machine (SVM)による2クラス分類
34
分類結果
ゲームプレイ中の母指の運動によって手根管症候群の
疾患推定が可能
Koji Fujita*, Takuro Watanabe*, Tomoyuki Kuroiwa, Toru Sasaki, Akimoto Nimura, and Yuta Sugiura(*Koji Fujita and Takuro Watanabe are joint first authors),A Tablet-
Based App for Carpal Tunnel Syndrome Screening: Diagnostic Case-Control Study,Journal of Medical Internet Research - Mobile Health and Ubiquitous Health, Vol.7,
Iss.9, e14172,2019
感度 特異度
93.0% 73.0%
35. • with 東京医科歯科大学 藤田浩二先生、二村昭元先生
手根管症候群患者のスクリーニング
Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With
Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320.
35
36. • 動機
• 医療現場では陽性と陰性のサンプルが不均衡
• 陽性のデータを十分に確保できない可能性
• データセットと特徴抽出
• 健常者と手根管症候群患者のスマホゲーム操作
時(12方向に2周動かす)の接触位置情報を中心
部からの距離値
• 手法
• 異常検知手法を活用
• 健常データ12手分を正常値としてオートエン
コーダを用いて学習モデルを構築
• 検証
• 健常者:27手、患者:36手
36
陽性(患者)教師データは手に入りにくい
Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With
Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320.
感度 特異度 AUC
94% 67% 0.86 12方向を学習した場合
異常検知によって陰性データのみで疾患推定が可能
陽性と陰性のデータ不均衡の問題を解決
37. • 動機
• 効率的な推定方法の検討
• 手法
• 全方向(12方向)から特定の方向
に絞って評価
• 検証
• 健常者:28手、患者:36手
• オートエンコーダ
37
特に推定に寄与する運動はどれ?
特定の方向の母指運動に絞ることに
よって効率的な推定が可能
文字入力やウェブブラウジングなど通常
のスマホ操作の延長線上での推定に期待
Koyama T, Sato S, Toriumi M, Watanabe T, Nimura A, Okawa A, Sugiura Y, Fujita K, A Screening Method Using Anomaly Detection on a Smartphone for Patients With
Carpal Tunnel Syndrome: Diagnostic Case-Control Study, JMIR Mhealth Uhealth 2021;9(3):e26320.
感度 特異度 AUC
全方向 92.9% 69.4% 0.85
6方向 100.0% 85.7% 0.956
38. • 動機
• 日常動作でも書字の動作に着目して疾患推
定できるか?
• データセットと特徴抽出
• 渦巻きを書いているときの健常者と手根
管症候群患者のペンの筆圧を計測
• 筆圧の変化量を周波数成分に変換して、
Support Vector Machineで学習
• 検証と結果
• 健常群:31名、疾患群:33名
• 感度:82%
• 特異度:71%
• AUC:0.81
38
日常動作から疾患推定ができるか?
Takuro Watanabe, Takafumi Koyama, Eriku Yamada, Akimoto Nimura, Koji Fujita, and Yuta Sugiura. 2021. The Accuracy of a Screening System for Carpal Tunnel Syndrome
Using Hand Drawings, Journal of Clinical Medicine 10, no. 19: 4437.
日常動作の中でも書字動作で疾患の推定が可能