クロスモーダル設計調査分科会設立の狙い
- 7. 感覚の設計：古典的な感覚のモデル • 感覚を分けて考える（モジュール化） – 聴覚は耳に入った音を処理するもので， 目から入ってくる光には影響を受けない • マルチモーダル：足し算の発想 – 使う感覚を増やしていけばよりリアルに 7
- 11. 11
- 15. クロスモダリティ（感覚間相互作用） • 人間の感覚がもつ，ある感覚の情報から 他の感覚の情報を補完して認知，解釈する特性 • 経験的に結びついた感覚の入力の組み合わせ → その一部が来るだけで来なかった感覚を補完 • 脳機能計測等で実証 perception sensation vision eye hearing ear haptics Haptic receptor olfactory nose gustatory tongue
- 19. 感覚の設計から知覚・体験の設計へ 感覚器 知覚 視覚 光 聴覚 耳 音 触覚 触覚 受容器 振動・圧力 嗅覚 認知 目 鼻 匂い • 感覚ではなく知覚や体験を中心に考える – 感覚と知覚の間のフィルタの設計を考える 舌 味覚 – 過去の経験や文脈が果たす役割を考える 味 • クロスモーダル：掛け算の発想 – 限られた感覚を効果的に組み合わせてリアリティを引き出す 19
- 20. クロスモーダル設計調査分科会の目標 1. クロスモーダル設計手法の確立 – クロスモダリティを工学的に応用して 知覚・体験を設計する方法論を確立する 2. クロスモーダル設計の利用方法の確立 – 基本的な効果だけでなく適用限界や 文脈を考慮した適切な演出方法まで考える 3. クロスモーダル設計の評価手法の確立 – 「感覚」ベースではなく「体験」を評価する方法を 体系化し，適切な評価ができるようにする
- 21. クロスモーダル設計の 実例紹介
- 22. クロスモーダル設計調査分科会ウェブサイト • http://crossmodal‐design.tumblr.com/ • ウェブサイトでは 下記を閲覧可能 – 本会の趣旨 – ワークショップの 開催案内と開催報告 – クロスモーダルデザイン の具体的事例の紹介 – 関連ウェブサイトの リンク集
- 23. クロスモーダル設計調査分科会ウェブサイト • http://crossmodal‐design.tumblr.com/ • ウェブサイトでは 下記を閲覧可能 – 本会の趣旨 – ワークショップの 開催案内と開催報告 – クロスモーダルデザイン の具体的事例の紹介 ワークショップ開催案内/報告 – 関連ウェブサイトの リンク集 クロスモーダル設計の実例集 感覚ごとに探すための索引
- 26. 実験結果（食べた量の変化） （ 通 常 条 件 下 消 の 費 消 量 費 量 で 正 規 化 ） • • • 縮小条件 通常条件 拡大条件 拡大率 被験者12名 見た目を小さくすることで，食べる量を増やすことができる傾向 拡大条件と縮小条件の間で，食べた量に優位差あり 26
- 36. クロスモーダル設計の可能性 メリット デメリット • 今までにない体験を 作り出すシステムの実現 • 五感を扱うシステムの 簡易化が可能 • 製造コスト減，メンテ減に より応用分野が拡大 • 扱いにくい感覚に アプローチできる • 感覚を個別に捉える古典 的な考え方に比べて （現状では）設計が難しい – 嗅覚，味覚，満腹感等 • 情報量の圧縮 – 通信コスト減など • 効果がどの程度現れるか は人によってまちまち – これまでの経験や文脈の 影響をうけやすい
- 37. クロスモーダル設計の現状と課題 – 設計手法 現状 • 主なクロスモーダル設計の手法は2通り – 心理学・認知科学等で知られている知見を利用して 知覚・体験を設計する （ex. Chewing Jockey, 拡張持久力） – 日常的な経験から類推して試行錯誤する （ex. Meta Cookie, Perception‐based Shape Display） 課題 • クロスモダリティの解明自身も研究途上であり まずは事例を蓄積して俯瞰することが必要 • システムが出来ることで解明も進むという相互作用に 期待
- 38. クロスモーダル設計の現状と課題 – 利用手法 現状 • 研究レベルの開発が多く，具体的な利用シーンへの適用法や 効果を引き立てる演出手法まで議論されている例は少ない 課題 • 社会展開や長期使用のユースケースの蓄積 • 性能限界を踏まえて活用するための演出手法の確立 • 効果に個人差があるので，個人差を吸収する手法か， 効果がない場合も許容されうる利用法が必要？
- 39. クロスモーダル設計の現状と課題 – 評価手法 現状 • 主なクロスモーダル設計の評価手法は大別して4種類 – – – – 主観評価 心理物理評価 生理評価 タスク評価 （アンケートなど ex. MetaCookie, Chewing Jockey） （JND, PSEなど ex. Perception‐based Shape Display） （筋電，皮膚電気抵抗など ex. 拡張持久力） （パフォーマンス計測 ex. 拡張満腹感, 拡張持久力） 課題 • 「感覚」ではなく「知覚・体験・潜在的効果」を捉えるために そしてクロスモーダルが「役に立つ」かを見極めるために， 上記手法をどのように組み合わせれば良いか体系化する
- 40. まとめ？ と これから マルチモーダル：足し算の発想 • 感覚を分けて考える（モジュール化） • 使う感覚を増やしていけばよりリアルに クロスモーダル：掛け算（引き算？）の発想 • 知覚や体験を中心に設計を捉え直す – 感覚の間の相互作用の設計を考える – 過去の経験や文脈が果たす役割を考える • 限られた感覚を効果的に組み合わせてリアリティを作る • • • • 関連分野の方を招いた講演と議論 関連する研究施設・企業等の見学 先行事例のサーベイと輪講発表 得られた知見をまとめて共有するグループワーク これらを通じて クロスモーダル設計の 体系化を目指す