ITフォーラム2024 AITCセッション(5)

Copyright © 2024 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
ITフォーラム 2024
生成AIを活用して持続的ウェルビーイングを実現する
『空気を読む家』
2024年2月2日
先端IT活用推進コミュニティ
コンテキスト・コンピューティング研究グループ
道村唯夫
【ITフォーラム2024 AITCセッション】

Copyright © 2024 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
内容
• 背景 – Why Well-being?
– ウェルビーイング
• 「AIを活用したウェルビーイングの測定」
– 昨年の振り返り
– 想定と実験
– 結果と考察
– 脳と情動
• 生成AIで健康的ダイエット
– 「空気を読む家」に求められること
– 生成AI(LLM)の不得手なこと
– ChatGPTをパーソナルトレーナーとして健康的にダイエット
– 感想

背景 – Why Well-being?
4
ITの進展
効率性・生産性
一般化
ネットワーク
情報爆発
剥き出しの感情
フィルターバブル(分断)
フレーム・いじめ
詐欺・フェイク
消極的自由の
肥大化
最適化
ITの役割の変化
• テクノロジーが個人のウェルビーイングと
ともに、社会全体の利益にも貢献すること
が重要だ(ラファエル・カルボ)
• 「ウェルフェア」から「ウェルビーイング」へ
• SDGs、ムーンショット型研究開発制度
• ウェルビーイング・イニシアチブ
• Well-being for Planet Earth
• など
ITは真の意味で生活を豊かにしているか？
社会・政府、経営・組織、生活

背景 - ウェルビーイング
• 「ウェルビーイング」とは
– 「よい状態」であること
• 個人、集団・組織、社会
– 「健康とは、病気ではないとか、弱っていないということではなく、肉体的にも、精神的にも、そして社会的
にも、すべてが満たされた状態(Well-being)にあることをいいます」(公益社団法人日本WHO協会)
– 「個々の人間は解けない謎だが、人間全体は数学的な確かさを持つ」
（コナン・ドイル著『四つの署名』1890年）
• 個人のウェルビーイングの三つの領域
– 医学的ウェルビーイング
• 心身の機能が不全でないかを問う医学の領域
– 快楽主義的ウェルビーイング
• 現在の気分の良し悪しや快・不快など、一時的、かつ主観的な感情の領域
– 持続的ウェルビーイング
• 心身の潜在能力を発揮し、周囲との関係の中で意義を感じている「いきいきとした状態」
• 「フローリシング(flourishing = 開花)」
(カルボ 2014)
5

背景 - ウェルビーイング
• 「ウェルビーイング」とは
– 「よい状態」であること
• 個人、集団・組織、社会
– 「健康とは、病気ではないとか、弱っていないということではなく、肉体的にも、精神的にも、そして社会的
にも、すべてが満たされた状態(Well-being)にあることをいいます」(公益社団法人日本WHO協会)
– 「個々の人間は解けない謎だが、人間全体は数学的な確かさを持つ」
（コナン・ドイル著『四つの署名』1890年）
• 個人のウェルビーイングの三つの領域
– 医学的ウェルビーイング
• 心身の機能が不全でないかを問う医学の領域
– 快楽主義的ウェルビーイング
• 現在の気分の良し悪しや快・不快など、一時的、かつ主観的な感情の領域
– 持続的ウェルビーイング ⇐ 着目
• 心身の潜在能力を発揮し、周囲との関係の中で意義を感じている「いきいきとした状態」
• 「フローリシング(flourishing = 開花)」
(カルボ 2014)
6

AIを活用したウェルビーイングの測定
• 昨年の振り返り
8
ウェルビーイングな状態

• 昨年の振り返り
– 社会的シグナルを読み取り情動を推定
9
ウェルビーイングを測定して見える化
• 自分自身、もしくは相手の
ウェルビーイングを知る

• 想定（目論見）
– ヒトはできるだけ直感的で簡単な思考で対応することを志向する[カーネマン, 2011]
• 自動的で努力を要しない高速な思考は、おおむね優秀だがバイアスがある
• エネルギーを大量に消費する論理的思考は時間もかかる
– ヒトの感情・本音は社会的シグナルに表出する [ペントランド, 2014]
• 成人になると意識して情動を隠すが、無意識のシグナルに本音がある
• デジタルデータのパンくずのようなものこそ重要な情報を含んでいる
• 社会的シグナルのネットワークでアイデアの流れが生まれる
– 古来から「顔色をうかがう」、「目は口ほどにモノを言う」など
• 実験
– 6：30頃の以下のデータとその時の気分（0(worst)～5(best)）を記録（30日）
• 顔のランドマーク（136点×40fps×10sec）、心拍数、気温、湿度、曜日、休日・平日
– Raspberry pi 4B+(4GB)、MediaPipe（Face Mesh）
– 記録したデータを説明変数、気分を目的変数として分類
• scikit-learn(sktime)などを利用
– 重要な説明変数を抽出し推定を高速化（リアルタイム化）する
10

• 結果 ⇒ 失敗！
– 質の良い学習データ（特に目的変数）を収集することができず、精度も悪い
– 原因として考えたこと: 甘い想定と実験方法
• 目的変数
– 自分の心情のスコアリングが困難 ⇒ 自分のことはわからない
» スコアが「3（ふつう）」に偏る（87％)、外的刺激がない状況でのラベル付け
• 説明変数
– 一回のデータ量が大きく畳み込みがうまく機能しない
» 心拍数推定のため高レート(40fps)で長時間(10sec.)のデータ
• 表情に関しては刺激受容後約20msec.から1sec.程度の変化を検知すれば充分
– ランドマークの相対座標値のノイズ
» 0.6mm/pixだが、常に1～2mmでふらついている⇒平滑化などの統計的手法の採用の可否
• 解析手法
– 大量の時系列データの扱いと情動に対する知識・経験不足
» データを集めれば「何とかなる」という甘い考え
11

• 結果
– 原因として考えたこと: 甘い想定と実験方法
• 説明変数
– ランドマークの相対座標値のノイズ
12

• 考察
– 先達はどうしているのか
• 先行研究
– 外的刺激に対する脳の活性状態を計測・解析
– 「消費者の無意識な情動変化を分析する生体反応測定調査」 [GMO, 2015]
• https://www.gmo.jp/report/single/?art_o_id=199
» 視線追跡でどの商品に注目しているかを記録し、瞳孔径の変化と表情の変化を計測
» 瞳孔径の変化：明暗のキャリブレーション後に瞳孔径の変化を計測、瞳孔径が大きくなると注目
» 表情の変化：大きな感情の変化(喜怒恐嫌悲驚)を顔のパーツの相対的位置関係で推定
– 「情動・感情判別のための自然発話音声データベースの構築」[酒造 et al., 2011]
» 感情を喚起させる映像を提示し、実験参加者と実験誘導者で感想をいいあい、その音声を記録
• つまり
– 客観的な指標で外的刺激に対する大きな情動（感情）の変化を把握
– 感情の強度とそれに対応する表情の強度との間には相関が存在する[Duran et al., 2021]
» 感情表現の理解は単純な一対一の対応関係ではなく、より複雑で多様なもの
» 感情と表情の関係は一概に予測できるものではなく、個人差や文化的要因などによって変わる
13

• 考察
– ヒトはどのようにして情動の変化（空気）を読み取っているのか
• コミュニケーションを通じて信頼関係を構築（共感）
• 相手が社会的シグナルを素直に発する
• 意識下で社会的シグナルを受け取り学習する
⇒ 時間をかけて学習した暗黙的な知識で、社会的シグナルの変化から情動の変化を読み取る
– イヌもヒトの情動の変化を読み取る能力がある
• 「イヌはヒトに共感する能力を有している」 [Katayama et al., 2019]
– ヒトとイヌの情動を、心拍変動解析を用いて秒単位で評価
– ヒトとイヌの情動変化が同期して変化する
– 飼育期間が長い飼い主では同期しやすい(生活環境の共有が長いと情動伝染が起こりやすい)
• 「社会的シグナルを介したイヌのスーパーセンシングの解明」 [Ono et al., 2023]
– 家庭犬や介助犬が有するヒトの内的情動の変化に即座に同調するスーパーセンシングの機序の解明
– ヒトとイヌの絆形成に関与する社会的シグナルを介してヒトの内的情動が伝わる
14
[Pentland, 2010]
イヌの視覚は、視力は悪いが、
動体視力に優れて視野が広い
⇒ 画像以外でセンスしている？
[山岸, 1998]

• 余談: 脳と情動に関する超簡単な概念図
– 実際は圧倒的に複雑
• 生理的: 神経科学、など
– 量子脳仮説、量子生物学、麻酔
• モデル・機能的: 数理科学、など
– 自由エネルギー原理
– 量子的認知
– ブレイン・デコーディング
15
感覚器官
（目、耳、皮膚、…）
一次感覚野
前頭前野
高次感覚処理領域
偏桃体
感情・行動
トップダウン
（意識的プロセス）
ボトムアップ
（無意識的プロセス）
知覚統合
理性・論理
合理的不定性
予測困難
予測符号化
短期記憶
人間の認知は
ブラックボックス
[西垣, 2018]

生成AIで健康的ダイエット
• 「空気を読む家」に求められること
– 空気を読む
• 住人の背景、嗜好、期待などを推定する
– 住人への共感: 気持ちを推測、理解し、感情や情緒を共有すること ≠ 同感
– 最良のウェルビーイングをもたらす手段の提供・提案
• ウェルビーイングをもたらすための手段の探索
• 全ての手段においての効果を評価・推定
• 最良のウェルビーイングをもたらす手段を選定
• 選定した手段を提供・提案
– 効果を確認する
17

• 生成AI(LLM)の不得手なこと
– 「Stochastic Parrots or Intelligent Systems?
A Perspective on True Depth of Understanding in LLMs」
Ali Borji @Quintic AI, San Francisco, CA
• LLMは確率的オウムと真の知的システムの中間に位置する
– LLMはある程度の理解力を持ってはいるが、現時点では人間の認知力よりはかなり低い
– LLMの理解力に関する我々の理解はまだ限られており、LLMは我々がまだ把握していない独特の理解方
法を持っているかもしれない
• LLMの理解力は領域特異的であり、タスク依存的である
– 物理世界から切り離された抽象的なタスク（例：数学やコーディング）の理解には優れている
» しかし、基本的な算術エラーを犯すこともある
– LLMが難しいとされるタスクには、実世界の相互作用（例：料理や運転）、感情や自己意識の理解、複雑な
推論や常識の適用などが含まれる
– これらの困難さは、LLMが経験したことのない現実世界や、感情や自己意識を持たないことに起因している
– LLMは言語のニュアンスを誤解したり、すべての質問に正確または役立つ回答を提供できないことがある
• LLMが真の知性や理解を持っているかどうかについては、まだ議論が分かれている
18

– Stochastic Parrots or Intelligent Systems?
A Perspective on True Depth of Understanding in LLMs
法を持っているかも
» 基本的な算術エラーを犯すこともある
• LLMが真の知性や理解を持っているかどうかについては、まだ議論が分かれています
19
（現時点では）生成AI（LLM)は、
空気（コンテキスト）を読むことが困難!!
マルチタスクの遂行
形式化されていない知識の習得
感情や自己意識の理解

– Stochastic Parrots or Intelligent Systems?
A Perspective on True Depth of Understanding in LLMs
法を持っているかも
» 基本的な算術エラーを犯すこともある
• LLMが真の知性や理解を持っているかどうかについては、まだ議論が分かれています
20
（現時点では）生成AI（LLM)は、
空気（コンテキスト）を読むことが困難!!
マルチタスクの遂行
形式化されていない知識の習得
感情や自己意識の理解
最良のウェルビーイングをもたらす手段を
提案・提示できるだろうか

• ChatGPTをパーソナルトレーナーとして健康的にダイエット
– Pluginの活用
• とりあえず「Planfit」を使ってみた
– プロンプト
• ChatGPTの役割: パーソナルダイエットトレーナー
• ChatGPTへの期待: ダイエットの計画立案と日々の行動に関するアドバイスが欲しい
• 背景と目標: 正月太りしてしまったので、【期間】で【目標】kgていど減量したい
• 自分のプロフィール: 【年齢】歳、【身長】cm、【体重】kg、【体脂肪率】%、【一日の平均歩数】歩、
【仕事のスタイル】、【運動習慣】
• 必要な情報の確認: 他にどういったプロフィール情報を伝えればよいか教えてほしい
• 応答のスタイル: 【スタイル】という感じで応答してほしい
– ChatGPTの応答
• 良い心がけですね
• 既往症と現在の健康状態を教えてください
– プロンプト
• 特に既往症はなく、健康状態は普通です
• 日常の行動で気を付けることを教えて
21

• 健康的に【目標】kgのダイエットを目指す場合、以下の点に注意してください。
• 食事の見直し:
– カロリー摂取量を少し減らす。
– 野菜、果物、全粒穀物、良質なタンパク質（魚、鶏肉、豆類など）を中心にしたバランスの良い食事を心
がける。
– 加工食品や高脂肪、高糖質の食品は控えめに。
• 運動習慣の見直し:
– 既に【歩数】歩/日と【運動習慣】を行っているのは素晴らしいです。
– さらなる効果を得るために、週2～3回の軽い筋トレを取り入れることをお勧めします。これにより基礎代
謝が上がり、より効率的に体重管理ができます。
• 生活習慣の見直し:
– 十分な睡眠を取る。
– ストレス管理に注意する。
– アルコールの摂取を控えめにする。
22

– プロンプト
• 日々の生活に関するより具体的なアドバイスをするために必要なデータはなんですか
• 日々の生活に関するより具体的なアドバイスをするためには、以下のようなデータが役立ち
ます。
– 食事内容（何をどのくらい食べているか）
– 飲水量
– 睡眠時間と質
– 日常の活動量（仕事内容や趣味など）
– 現在の運動習慣の詳細（運動の種類、時間、強度）
• これらの情報をもとに、より個別化されたアドバイスが可能になります。また、筋トレのプログ
ラムを作成することもできますので、ご希望があればお知らせください。
23

– プロンプト
• 日々の生活に関するより具体的なアドバイスをするために必要なデータはなんですか
• 日々の生活に関するより具体的なアドバイスをするためには、以下のようなデータが役立ち
ます。
– 食事内容（何をどのくらい食べているか）
– 飲水量
– 睡眠時間と質
– 日常の活動量（仕事内容や趣味など）
– 現在の運動習慣の詳細（運動の種類、時間、強度）
• これらの情報をもとに、より個別化されたアドバイスが可能になります。また、筋トレのプログ
ラムを作成することもできますので、ご希望があればお知らせください。
24

– プロンプト
• 具体的な運動の内容について教えて
• ＜右図＞
25

– プロンプト
• 昨日のデータは、以下の通り。今日の行動上のアドバイスが欲しい。
– ＜三回の食事の内容、飲水量など詳細に記述＞
• 昨日のデータを基に、今日の行動に関するアドバイスをいたします。
– 食事
– 水分摂取
– 睡眠
– 運動
＜それぞれについて、かなり細かいアドバイス＞
26

– プロンプト
• 毎日これだけの内容を入力するのは大変なので、重要なところに絞ってほしい
• 食事と活動量、睡眠の3つの要素に注目すると良いでしょう
＜詳細略＞
– プロンプト
• 活動量と睡眠なら、Health Kitを使えばApple Watchから情報が取れるはずなので、macOSとXcodeを使って
どんなプログラムを作ればよいのか教えて
• ＜略＞
– プロンプト
• 食事の内容に関して食事の画像をDALL-Eにあげて分析してもらえばよいですか
• DALL-Eは画像生成に特化したAIモデルであり、画像の内容を分析する機能は持っていません。したがって、食事
の画像をDALL-Eにアップロードしても、その画像の内容を分析することはできません。
• 食事の画像から栄養素やカロリーを分析するには、専門の栄養分析ツールやアプリを使用する必要があります。
市販されている多くの栄養管理アプリでは、食事の写真をアップロードすることで、食品の種類や量を推定し、栄
養素やカロリーを計算してくれます。
27

– その後、
• その日の調子や感想をプロンプトに加えると、励ましてくれたり、慰めてくれたりした
– すぐには効果が出ないし
– OpenAIがチューニングしているのかもしれない
• 一週間で少し効果が見えてくると、褒めてくれる
– 10日間で終了
• 結果を報告
– 目標達成おめでとうございます！少し大変だったかもしれませんが、その努力が実を結んだことを
大変嬉しく思います。健康的な生活習慣を維持することは、体重管理だけでなく、全体的な健康と
幸福感にも大きく寄与します。
– これからも継続して健康的な生活を送るために、以下の点を念頭に置いてください：
＜略＞
28

– プロンプト
• 実は食事の量を減らしたことで、空腹が続いてイライラしてしまったかもしれず、同居人や同僚、
部下には悪いことをしなかったかが心配
– 応答
• 食事量を減らすことで生じる空腹感やそれに伴うイライラは、ダイエット中によくあることです。こ
のような状況で、周囲の人々への影響を気にかけるのは、とても思いやりのある行動です。以下
のステップで、状況を改善し、関係を維持することができます。
– 自己認識
– コミュニケーション
– 食事の調整
– ストレス管理
– 健康的な習慣の維持
＜詳細略＞
• 周囲の人々との良好な関係は、健康的なライフスタイルを維持する上で非常に重要です。自分
の感情や行動に注意を払い、オープンなコミュニケーションを心がけることで、周囲の人々との関
係を保ちながら、健康的な目標を達成することができます。
29

• 感想など
– 生成AIは、専門家には劣るだろうが、一般的な人よりは多少知識があって有用な面もある
• 「ウラ」を取る必要はある
– 空気は読めないが、期待を明らかにすれば気持ちを多少は推量する
• 期待やコンテキストを明示する ⇒ 結局は「壁打ち」の範疇？
– 生成AIのパーソナル化によって、共感・信頼のサイクルが進む？
• 情動の推定と効果予測が可能になれば、イヌを超えらるパートナーになれるかも
– 社会的シグナルの個人差は、どの程度存在するのか、環境・相手によっても異なるかもしれない
• 情動の推定には新たなセンサーが必要になるだろう
• コミュニケーション手段の多様化が求められる
– 「ダイエット」というお題は、医学的ウェルビーイングのようだ
• 持続的ウェルビーイング: 「いきいきとした状態」
– 心身の潜在能力を発揮し、周囲との関係の中で意義を感じている
• 「家」という文脈では、同居人との関係性に介入するシナリオが必要になるかもしれない
30

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター

ITフォーラム2024 AITCセッション(5)

More Related Content

More from aitc_jp (20)

ITフォーラム2024 AITCセッション(5)