SlideShare a Scribd company logo
7
Most read
17
Most read
22
Most read
遠隔ヘルスケアのための多感覚XR-AI技術基盤
~リハビリ・特定保健指導から人的資本経営支援まで~
蔵田 武志1,2,3
1国立研究開発法人 産業技術総合研究所 人間拡張研究センター 副研究センター長
2筑波大学 システム情報系 教授(連携大学院) 応用サービス工学研究室
(システム情報工学研究群 知能機能システム学位プログラム)
3名古屋大学 未来社会創造機構 客員教授
第29回日本バーチャルリアリティ学会大会
OS1D4 高齢者の生活・医療を支えるVR (2024/9/11 14:30-15:50)
1
IROS-TV(YouTube) NEDO委託業務
(JPNP21004)
T. Kurata et al., “Project Progress on XR-AI Platform for Tele-Rehab
and Health Guidance,” 2024 IEEE VR Abstracts and Workshops (VRW),
pp.244-251, 2024.
240億円/年以上
20万人
(2006年)
外来リハビリ
打ち切り:
発症から3~6カ月
時間制限:
120分/週
理学療法士:
医療機関約8万人
介護系機関1万人
無医地区人口
約12万7千人
5年間で4千人増加
(2019年)
実施率25%程度
(2018年)
保険料収入:
当初見込みから約4千億円減
少し約7兆8千億円
(2020年度)
3割離脱
(複数の調査結
果より)
2
ヘルスケアサービス(リハビリ、特定保健指導)に関する問題群:
時空間的、経済的、認知的制約
遠隔ヘルスケアのための多感覚XR-AI技術
IROS-TV(YouTube) NEDO委託業務
(JPNP21004)
T. Kurata et al., “Project Progress on XR-AI Platform for Tele-Rehab
and Health Guidance,” 2024 IEEE VR Abstracts and Workshops (VRW),
pp.244-251, 2024.
3
診断アプリ
4
生活課題リハ診断中の様子
診断ウェブアプリ
(Web browser)
バーチャル
三面鏡
運動テスト中の
利用者アバター
運動テストの
見本動作
ADLに関する問診
リハビリメニュー
の見本動作確認
運動テストの自動
評価結果
肩リハ診断の様子
本研究で目指す遠隔ヘルスケアサービスのプロセス構成
遠隔ヘルスケアのための多感覚XR-AI技術
IROS-TV(YouTube) NEDO委託業務
(JPNP21004)
5
T. Kurata et al., “Project Progress on XR-AI Platform for Tele-Rehab
and Health Guidance,” 2024 IEEE VR Abstracts and Workshops (VRW),
pp.244-251, 2024.
MR3ウェア・マネキンによる遠隔触力覚インタラクション
6
Ogata, K., et al., Basic Study of Upper Limb Movement Estimation and Function Evaluation including Shoulder Girdle by Multi-Sensing
Flexible Sensor Wear, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp.13328-13334, 2022.
MR3ウェア・マネキンによる遠隔触力覚インタラクション
7
Ogata, K., et al., Basic Study of Upper Limb Movement Estimation and Function Evaluation including Shoulder Girdle by Multi-Sensing
Flexible Sensor Wear, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp.13328-13334, 2022.
デジタルツイン環境でのMR3ウェア設計、AI開発支援
8
角度推定誤差 [deg]
フレキセンサ基板ウェア
MR3ウェア・マネキンによる遠隔触力覚インタラクション
9
Kunihiro Ogata, Takuto Nakamura, Shunsuke Kanazawa, Taiki Nobeshima, Hideaki Kuzuoka, Takeshi Kurata, “Remote Rehabilitation System Capable of
Sharing Somatosensory Sensations”, EMBC 2024, ID:6884.
遠隔インタラクション
10
サイドバイサイド
二人羽織(重畳)
MR3マネキンとハンガー反射
療法士
利用者
利用者視点
療法士視点
利用者視点
利用者
アバタ
療法士
アバタ
利用者視点
肩の状態の
時系列グラフ
MR3ウェアで得られた
肩の状態の
ヒートマップ
MR3ウェア
(歪センサ、
ハンガー反射)
MR3マネキン
鏡
clusterでのVRリハビリ実装
11
サイドバイサイド、二人羽織、遠隔音声対話
(MR3ウェア・マネキンとの連携については実装中)
MR3ウェア・マネキンによる遠隔触力覚インタラクション
12
Takuto Nakamura, et al., Effect of Hanger Reflex on Detection Thresholds for Hand Redirection during Forearm Rotation, ACM Symposium on
Applied Perception 2023
ハンガー反射デバイス 視覚的な錯覚
Actual
Exaggerated
VRリハ:ハンドリダイレクション
(Visuo-haptic illusion)
13
本研究で目指す遠隔ヘルスケアサービスのプロセス構成
Takuto Nakamura, et al., Effect of Hanger Reflex on Detection Thresholds for Hand Redirection during Forearm Rotation, ACM Symposium on
Applied Perception 2023
VRリハビリ:VR-SelfCo
• 背景:
• ミラーセラピーは片半身麻痺のリハビリに効果がある
• ミラーセラピーは麻痺側の上肢の残存する機能を活かせない
• 提案:
• ミラーセラピーをVR化
• 麻痺側の上肢の残存する機能はそのまま活用し、麻痺した機能
を反対側の上肢で補う(Virtual Self Co-embodiment)
14
ミラーセラピー
単純なVRミラーセラピー 提案手法:VR-SelfCo
麻痺側
麻痺側
把持動作
は可能
R. C. Curiel, et al., Virtual Reality Self Co-embodiment: An Alternative to Mirror Therapy for Post-Stroke Upper Limb Rehabilitation, IEEE
Transactions on Visualization and Computer Graphics, 04 March 2024
遠隔ヘルスケアのための多感覚XR-AI技術
IROS-TV(YouTube) NEDO委託業務
(JPNP21004)
15
T. Kurata et al., “Project Progress on XR-AI Platform for Tele-Rehab
and Health Guidance,” 2024 IEEE VR Abstracts and Workshops (VRW),
pp.244-251, 2024.
• 雑巾がけ動作
• 五十肩のリハビリ動作のひとつ(リラクゼーション)
• 課題:単調動作のため,とても退屈.→継続が困難
• VR雑巾がけ
• 提案:ゲーミフィケーションとコミュニケーションを追加
• →継続時間の増加を期待
16
VRリハビリ:同種互恵ケアの効果検証
T. Ota, T. Nakamura and H. Kuzuoka, "Effects of Gamification and Communication in Virtual Reality Frozen Shoulder Rehabilitation for Enhanced
Rehabilitation Continuity," in IEEE Access, 2023.
• 実験
• 目的:各要素追加による動作継続時間の変化.
• 条件:①VR雑巾がけ動作 ②単独ゲーム ③マルチプレイゲーム
• ①Simple ②Gamification ③Communication
• 結果
• ゲーム要素&マルチプレイ要素で継続時間が有意に増加
• インタビュー結果
• ゲーム要素:次のアイテムや環境変化を目標にタスクを実施できた
• マルチプレイ要素:相手より先に辞めにくかった.相手と同じ時間継続
しようとした
17
VRリハビリ:同種互恵ケアの効果検証
T. Ota, T. Nakamura and H. Kuzuoka, "Effects of Gamification and Communication in Virtual Reality Frozen Shoulder Rehabilitation for
Enhanced Rehabilitation Continuity," in IEEE Access, 2023.
本大会での発表
18
9/11 am
9/13 am
常時モニタリングによる心的状態予測
19
実施場所 名神高速道路 吹田サービスエリア(大阪府吹田市)
飲食・物品販売サービスの商業施設 がんこフードサービス(株)と連携
実証期間 各10日間を2回実施
2022年 7月 4日 〜 7月14日
2023年 1月16日 〜 7月26日
計測対象者 2回とも参加:37名
1回目: 48名 2回目: 42名
計測領域面積 約 2200m2
本研究で目指す遠隔ヘルスケアサービスのプロセス構成
心的状態予測AI
20
佐藤章博ら, 複雑な決定境界に対応するためのスタッキングアンサンブル学習器による高速道路SA就業者の感情推定における不均
衡データ対策手法の比較, 信学技報, Vol.123, No.358, PRMU2023-47, pp.40-45 (2024)
PRVは未使用
産総研・人間拡張研究センターの
情報発信イベント
21
• 産総研特別公開
• 2024年10月5日(土)
• 産総研つくばセンター
• 対象:主に高校生以上(特に就職にご興
味のある方)、共同研究などの連携にご
興味のある方
• 人間拡張研究センターシンポジウム HARCS2024
• 2024年11月28日(木)
• ハイブリッド
• 柏の葉キャンパス駅近く
• Zoom
蔵田 武志
くらた たけし
1996年より電子技術総合研究所研究員、2020年より現職
(産業技術総合研究所人間拡張研究センターの副研究セン
ター長)。2003-2005年にJSPS海外特別研究員(ワシント
ン大HITLAB)を兼務。2013年より筑波大学大学院教授(連
携大学院)、2018-2020年に住友電気工業(株)クロスアポイ
ントメントフェロー、2021年より名古屋大学客員教授をそ
れぞれ兼務。日本VR学会評議員、サービス学会理事、ISO
IEC/JTC 1/SC 24(CG、XRなど)日本代表(HOD)、ISO
IEC/JTC 1/SC 24/WG 9(MR/ARグループ)コンビーナー、
PDRベンチマーク標準化委員会初代委員長(現在,事務局)。
屋内測位、XR、サービス工学、健康経営支援、視覚障害者支
援等の研究に従事。博士(工学)。
自己紹介
22

More Related Content

PPTX
遠隔リハビリ研究とオンライン学会運営から見たコミュニケーションDX
PDF
AR/VR概要と活用事例
PDF
「遠隔リハビリのための多感覚XR-AI技術基盤構築と保健指導との互恵ケア連携」の概要
PDF
バーチャルリアリティ(VR)概要
PPTX
国際標準化におけるAR/MR用語の使われ方
PPTX
人間拡張から人間社会拡張へ(HARCS2024講演資料。産業技術総合研究所 蔵田武志)
PDF
サービス学とか何か(応用サービス工学)
PDF
AR・VR体験会 in 山口
遠隔リハビリ研究とオンライン学会運営から見たコミュニケーションDX
AR/VR概要と活用事例
「遠隔リハビリのための多感覚XR-AI技術基盤構築と保健指導との互恵ケア連携」の概要
バーチャルリアリティ(VR)概要
国際標準化におけるAR/MR用語の使われ方
人間拡張から人間社会拡張へ(HARCS2024講演資料。産業技術総合研究所 蔵田武志)
サービス学とか何か(応用サービス工学)
AR・VR体験会 in 山口

Similar to 遠隔ヘルスケアのための多感覚XR-AI技術基盤 ~リハビリ・特定保健指導から人的資本経営支援まで~ (20)

PDF
サイエンスカフェ:体験して知ろうAR/VRの今・未来
PDF
単孔式手術支援ロボット_ 日本コンピュータ外科学会 _101102
PDF
190210_DLLAB 医療×AIシンポジウム_Holoeyes株式会社 谷口直嗣氏
PDF
VR/AR/MRって何?―基本概念から利用事例の紹介― @Developers Summit 2018 FUKUOKA
PDF
医療×AIシンポジウム -医療×AI推進人材を考える-
PDF
人的資本経営のための地理情報インテリジェンス 作業パターン分析と心身状態把握に関する実証事例
PDF
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
PDF
2013 osgナースコース 企画
PDF
エムネス読影センターのご案内
PDF
ロボット介護機器安全検証手法、山田陽滋(名古屋大学)
PDF
20150414seminar
PPTX
「IoTやAIテクノロジーの産学イノベーション経験談」
PDF
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
PDF
生活に溶け込む人工知能による病気発見:医工連携におけるLessons Learned
PDF
触れること、安心感や気持ちよさをどう介護保険領域で活かすか(指圧師の観点から)
PDF
#FTMA15 第一回 仏・人間コース全PDF
PPT
Nakashima Presentation
PPTX
ヘテロコア光ファイバを織り込んだスマート衣服による関節動作モニタリング
PPTX
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
PDF
ロボット介護機器効果・安全検証のあり方、大川弥生(長寿研)
サイエンスカフェ:体験して知ろうAR/VRの今・未来
単孔式手術支援ロボット_ 日本コンピュータ外科学会 _101102
190210_DLLAB 医療×AIシンポジウム_Holoeyes株式会社 谷口直嗣氏
VR/AR/MRって何?―基本概念から利用事例の紹介― @Developers Summit 2018 FUKUOKA
医療×AIシンポジウム -医療×AI推進人材を考える-
人的資本経営のための地理情報インテリジェンス 作業パターン分析と心身状態把握に関する実証事例
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
2013 osgナースコース 企画
エムネス読影センターのご案内
ロボット介護機器安全検証手法、山田陽滋(名古屋大学)
20150414seminar
「IoTやAIテクノロジーの産学イノベーション経験談」
2014年5月21日「パーティクルフィルタの癖から知るロボットへの確率的手法の正しい適用方法」---第58回システム制御情報学会研究発表講演会チュートリアル講演
生活に溶け込む人工知能による病気発見:医工連携におけるLessons Learned
触れること、安心感や気持ちよさをどう介護保険領域で活かすか(指圧師の観点から)
#FTMA15 第一回 仏・人間コース全PDF
Nakashima Presentation
ヘテロコア光ファイバを織り込んだスマート衣服による関節動作モニタリング
DLゼミ: Ego-Body Pose Estimation via Ego-Head Pose Estimation
ロボット介護機器効果・安全検証のあり方、大川弥生(長寿研)
Ad

More from Kurata Takeshi (20)

PPTX
ISO/IEC JTC 1/WG 9 (MAR) Convenor Report
PDF
Preliminary Evaluation of Inspection Assistance Methods Using VR Simulating P...
PPTX
De jure standardization at ISO/IEC JTC 1/SC 24 and ISMAR
PDF
Pre-Post Analysis on Multi-Skill Development using Flow Line Data at Expressw...
PDF
Project progress on XR-AI platform for tele-rehab and health guidance
PDF
サービス学会国内大会:高速道路サービスエリア施設内での動線データのみを用いた作業行動パターン分析
PPTX
HARC: Human Augmentation Research Center
PDF
Work Pattern Analysis with and without Site-specific Information in a Manufac...
PDF
SC 24でのメタバース関連標準化概要:ヘルスケア応用事例を交えて(ISO/IEC JTC 1/SC 24)
PPTX
Standards and projects of SC 24/WG 9 on Metaverse and Interverse
PDF
屋内測位技術の応用事例とPDRベンチマーク標準化委員会の活動概要
PDF
作業エリア遷移モデル生成とそのクラスター分析に基づく製造ラインの作業分析
PPTX
「遠隔リハビリのための多感覚XR-AI技術基盤構築と保健指導との互恵ケア連携」で目指すところ
PPTX
Analyzing Operations on a Manufacturing Line using Geospatial Intelligence T...
PDF
XRに基づく遠隔リハの研究・事業事例調査報告
PDF
XR/xDRによる労働生産性の向上、QoW向上
PPTX
地理空間インテリジェンス技術を用いた 製造ラインでの作業分析
PPTX
Geospatial Intelligence for Health and Productivity Management in Japanese Re...
PDF
製造業・サービス業での人とシステムとの協調
PDF
地理空間インテリジェンス:屋内測位技術を用いた現場のラボ化に基づくサービス研究事例
ISO/IEC JTC 1/WG 9 (MAR) Convenor Report
Preliminary Evaluation of Inspection Assistance Methods Using VR Simulating P...
De jure standardization at ISO/IEC JTC 1/SC 24 and ISMAR
Pre-Post Analysis on Multi-Skill Development using Flow Line Data at Expressw...
Project progress on XR-AI platform for tele-rehab and health guidance
サービス学会国内大会:高速道路サービスエリア施設内での動線データのみを用いた作業行動パターン分析
HARC: Human Augmentation Research Center
Work Pattern Analysis with and without Site-specific Information in a Manufac...
SC 24でのメタバース関連標準化概要:ヘルスケア応用事例を交えて(ISO/IEC JTC 1/SC 24)
Standards and projects of SC 24/WG 9 on Metaverse and Interverse
屋内測位技術の応用事例とPDRベンチマーク標準化委員会の活動概要
作業エリア遷移モデル生成とそのクラスター分析に基づく製造ラインの作業分析
「遠隔リハビリのための多感覚XR-AI技術基盤構築と保健指導との互恵ケア連携」で目指すところ
Analyzing Operations on a Manufacturing Line using Geospatial Intelligence T...
XRに基づく遠隔リハの研究・事業事例調査報告
XR/xDRによる労働生産性の向上、QoW向上
地理空間インテリジェンス技術を用いた 製造ラインでの作業分析
Geospatial Intelligence for Health and Productivity Management in Japanese Re...
製造業・サービス業での人とシステムとの協調
地理空間インテリジェンス:屋内測位技術を用いた現場のラボ化に基づくサービス研究事例
Ad

遠隔ヘルスケアのための多感覚XR-AI技術基盤 ~リハビリ・特定保健指導から人的資本経営支援まで~