![CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会
対象とする推理小説・タスク
対象とする推理小説
まだらのひも（第1回のＫＧの不具合を修正して利用）
➢タスク：ヘレンを殺したのは誰か？（犯人＋説明）
に加え，新たに，以下の4編をＫＧ化
踊る人形 [Wikipedia][青空文庫]
➢タスク：暗号を解け（暗号の解読）
背中の曲がった男（曲がれる者）[Wikipedia][青空文庫]
➢タスク：バークリはなぜ死んだのか？（説明）
悪魔の足 [Wikipedia][青空文庫]
➢タスク：各人物を殺したのは誰か？（犯人＋説明）
花婿失踪事件（同一事件） [Wikipedia][青空文庫]
➢タスク：花婿はなぜ消えたか？（説明）
47](https://image.slidesharecdn.com/2019122swokgrc2019-191122071739/85/2019-11-22-SWO-47-320.jpg)
第２回ナレッジグラフ推論チャレンジ2019の紹介（11/22, SWO研究会）
- 4. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第1回：開催スケジュール 2017/02/26 推論チャレンジ（仮称）の構想開始 in 第41回SWO研究会＠志賀島 2017/11/25 第１回公開WS：推論チャレンジ（仮称）開催予告 in 第43回SWO研究会＠人工知能学会合同研究会2017 2017/12/19 第２回公開WS：スキーマ検討会 2018/02/28 第３回公開WS：スキーマ設計会 2018/03/18 第４回公開WS：ナレッジグラフの構築テスト in 第44回SWO研究会＠五島市（合宿）併設ワークショップ 2018/04/23 第５回公開WS：「推論チャレンジ」ワークショップ 2018/06/05 ナレッジグラフ公開・チャレンジ開始 2018/08/07 応募に向けた技術勉強会 2018/10/18：応募に向けた技術勉強会（2回目） 2018/10/30： チャレンジ応募締切（11/11まで延長） 2018/11/25： 発表会＆授賞式 in 第45回SWO研究会＠淡路島（JIST2018併設イベント） 4 構想9カ月 開催準備 6カ月
- 5. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第2回：開催スケジュール 2019年6月4日 応募開始 ➢ 人工知能学会全国大会（JSAI2019）＠新潟にて， 第1回開催報告＆第2回応募開始の宣言 ➢ 対象とするナレッジグラフについては，調整中のものを仮公開． 2019年8月末 改良版のナレッジグラフを公開 2019年8月27日 技術勉強会 ➢ ナレッジグラフ・LODの基礎技術から，推論チャレンジのナレッジグラ フを扱う技術例まで，ハンズオンを交えた解説． 2019年9月13日 応募相談会 2019年10月21日 技術勉強会＆応募相談会 2019年10月27日 ナレッジグラフのアップデート 2019年11月末 応募締切 2019年12月26日 最終選考会＆授賞式@秋葉原 5 第2回では 技術勉強会 に注力 まだ，応募できます！
- 7. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 推理（推論）の例 ジュリアの死に不審な点があると，ヘレンから相 談を受ける ↓ ←犯人は現場にいた人【外部知識】 「ジュリアが死んだ日」に現場の屋敷にいた人物 の一覧を取得する ジュリアが結婚すると，ロイロット博士に入るお金 が減る ↓ ←お金は殺人の動機になりうる【外部知識】 ロイロット博士がジュリアを殺す動機になる 7
- 10. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 推理小説のナレッジグラフの構築
- 12. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 場面（シーン）スキーマ 場面ID 原文 主語 述語 目的語 subject hasPredicate source その他 他の場面 場面間 場面を表現するプロパティ ➢ subject：その場面の記述において主語となる人や物 ➢ hasPredicate：その場面の内容を表す述語 ➢ 場面の詳細を表す目的語：whom（だれに）, where（どこで）, when（いつ）, what（何を）, how（どのように）, …etc. ➢ 場面間の関係：then，if, because, …etc. ➢ time：その場面が起こった絶対時間（xsd:DateTime） ➢ source：その場面の原文（英語/日本語のリテラル） 主語 目的語 述語 の形でないことに注意 →場面に関わる複数の 情報をまとめるため 場面ID中心に記述 12
- 19. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第１回ナレッジグラフ推論チャレンジ2018振り返り ～ まだらのひも The Adventure of the Speckled Band ～
- 20. 第1回チャレンジ概要 対象小説 まだらのひも （Speckled Band） ※シャーロキアン人気No.1 応募件数 ８作品（本部門：５，アイデア部門：３） 本部門 （実装を伴う） ➢ 【最優秀賞】 野村総合研究所 【優秀賞】 上小田中411（富士通研究所） 【ベストリソース賞】 FLL-ML（富士通研究所，神戸常盤大学，神戸市立西神戸医療センター） ➢ teamOIF （立命館大学） ➢ 塚越雄登 （電気通信大学） アイデア部門 （アイデアのみ．実装を伴わない） ➢ 【ベストアイデア賞】 白松研 feat. 59（名古屋工業大学） ➢ 生島高裕 （数理先端技術研究所） ➢ 橋本一成，他 （富士ゼロックス） 個々の詳細は公式サイト http://challenge.knowledge-graph.jp 参照 20
- 21. 超簡単なあらすじ紹介 （１／２） 依頼人ヘレンがホームズのところにやってくる ➢ ヘレンは最近，婚約した ➢ ヘレンはいま義父のロイロットと二人で暮らしている ➢ ロイロットは気性が荒く，近所でトラブルを起こしている ➢ ロイロットはインド帰りでヒヒやヒョウを飼っている ➢ ロイロットはロマと仲がよく，敷地を使わせている ➢ ロイロットが実母の遺産を管理している ２年前にはヘレンの姉ジュリアが変死していた ➢ ジュリアは婚約したばかりだった ➢ ジュリアはロイロットの隣の自室で死んだ ➢ 死ぬ前に「Speckled（まだらの）Band（楽隊？ひも？）」と言った 21
- 22. 超簡単なあらすじ紹介 （２／２） ホームズがロイロットの屋敷を訪れ，ヘレンの部屋で不寝番をする ➢ ホームズは不審な物音を聞き，ムチで打ち付ける ➢ 隣のロイロットの部屋から悲鳴が聞こえる ホームズがロイロットの部屋に入る ➢ ロイロットの首に「まだらのひも（ヘビ）」が巻き付いていた ➢ ロイロットはインドから取り寄せたヘビも飼っていた ➢ インドのヘビの毒はイギリスではよく知られていなかった ➢ ロイロットはヘビを飼いならしてジュリアを殺した（遺産分与を防ぐため） ➢ ロイロットは同様にヘレンを殺そうとしたが，ホームズに阻まれた ➢ ホームズに打ち据えられたヘビは，怒って飼い主ロイロットに噛み付いた 22
- 24. ８つの提案アプローチ 本部門 （実装を伴う） 【最優秀賞】 野村総合研究所 ✓ 述語論理式を用いて定式化し，制約充足問題として解を導出 ➢ 【優秀賞】 上小田中411（富士通研究所） ➢ 【ベストリソース賞】 FLL-ML（富士通研究所，神戸常盤大学，神戸市立西神戸医療センター） ➢ teamOIF （立命館大学） ☆学生 ✓ オントロジー構築とSPARQL検索 ➢ 塚越雄登 （電気通信大学） ☆学生 ✓ ルール推論とSPARQL検索 アイデア部門 （アイデアのみ．実装を伴わない） 【ベストアイデア賞】 白松研 feat. 59（名古屋工業大学） ☆学生 ✓ マルチエージェントによる議論モデル ➢ 生島高裕 （数理先端技術研究所） ✓ 自然言語処理 ➢ 橋本一成，他 （富士ゼロックス） ✓ イベントおよび推理に係る汎用的なオントロジーの構築 個々の詳細は公式サイト http://challenge.knowledge-graph.jp/2018 参照 24
- 29. 29https://www.slideshare.net/TakanoriUgai/2019- 166978082 【優秀賞】 富士通研究所 （１／３） 計３つの観点で推論（動機，機会，方法）
- 37. 基本情報の共有 主催者側で以下の基本情報を調査し，事前に審査員である専門家と共有 （今回，審査員はSWO研究会の幹事を中心に7名に委託） ➢ 正解が出せているかどうか？ 方法の如何にはよらないが，推論・推定した犯人は正しいか？ ここで犯人とは，小説の中で犯人されている人物とする． ➢ プログラムが実行できるか？ 提出されたプログラムが正しく動作し，結果が再現できたか？ （アイデア部門を除く） 但し，全ての動作の再現を保証するわけではない． ➢ プログラムのパフォーマンス プログラムの動作環境，動作速度に関する何らかの情報 ➢ 使用した知識・データ量 提供したナレッジグラフの内，ID 何番までを使用したか？ 外部知識・データを活用している場合は，その情報． 37
- 38. 専門家による評価 専門家評価では，以下の項目について審査員が5段階評価 推論・推定方法 ➢ 技術性(Significance) 推論・推定方法の技術的工夫． ➢ 汎用性（Applicability） 他の問題にも適用できる手法であるか？ 目安としては， 3：他の推理小説にも適用可能 5：他のドメインにも適用可能） ➢ 発展性（Expansibility） 今後の技術的な発展が期待できるか？ 例えば，現状の問題点を解決すると改善が見込める，など 38
- 39. 専門家による評価 知識・データ ➢ 知識・データ構築の工夫 知識/学習データを構築にかけた工夫（量×質×プロセス）．例えば，外部知識・ データをどれだけ用意したや，外部知識・データの作り方の工夫など ➢ 知識・データ活用の工夫 提供されたナレッジグラフや自身で構築した知識を効果的に利用しているか？ 少量の外部知識でスマートに解いたや，大量の知識で少ステップで解いた，など その他 ➢ 実現可能性（アイデア部門のみ） 技術，知識・データ構築/活用の双方を含めたアイデアの実現可能性． ➢ 論理的説明性 論理的な説明が成立しているか？ 1：説明や根拠の提示が全くない． 3：根拠となるエビデンスが何らかの形で提示されている． 5：必要十分な推論（推定）過程において，一貫性を持った説明がなされている． ➢ 努力性 作品（知識／データ／システム）作成にかけた労力 ➢ 総合的なコメント（自由記述） 39
- 42. 評価結果 一般審査の結果は，総合評価と説明性の平均値，中央値，標準偏差を比較 1位と2位を比較では， ➢ 平均値では総合評価と説明性いずれも1位が2位を上回っているが， ➢ 中央値では総合評価は上回っているが説明性では同値となり， ➢ 標準偏差では総合評価と説明性いずれも1位のほうが大きかった． t 検定（p = 0.05）では，総合評価では有意差が得られたが説明性では得られなかった 専門家評価で1位と2位を比較すると， ➢ 各指標の平均では1位が2位を上回っているが， ➢ 説明性の観点では結果が逆転した（t 検定による有意差も認められた） 尚，いずれの指標でも標準偏差（全作品平均）は<1.0，大きな意見の相違はなかった ➢ ばらつきが最も少なかったのが論理的説明性であり， ➢ ばらつきが最も大きかったのは努力性であった．．． 結果として，1位と2位の順位付けは専門家審査員による議論に任せられたが， 説明性以外ではいずれも1位は2位と同値または上回っていたことから本結果とした 同時に，本チャレンジの一番の課題である説明込みでの評価については課題を残した その他に各専門家のコメント等を踏まえてベストリソース賞とアイデア賞を授与 42
- 44. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第2回推論チャレンジ －第1回からの変更点－ ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象ＫＧの拡大 対象とする小説の追加 ➢昨年度作成分１＋追加４編 ＝ 計５編に ✓複数の小説を対象にすることで，よる広範囲 な課題に取り組めるように！ 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 44
- 46. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第2回推論チャレンジ －第1回からの変更点－ ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象ＫＧの拡大 対象とする小説の追加 ➢昨年度作成分１＋追加４編 ＝ 計５編に ✓複数の小説を対象にすることで，よる広範囲 な課題に取り組めるように！ 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 46
- 47. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 対象とする推理小説・タスク 対象とする推理小説 まだらのひも（第1回のＫＧの不具合を修正して利用） ➢タスク：ヘレンを殺したのは誰か？（犯人＋説明） に加え，新たに，以下の4編をＫＧ化 踊る人形 [Wikipedia][青空文庫] ➢タスク：暗号を解け（暗号の解読） 背中の曲がった男（曲がれる者）[Wikipedia][青空文庫] ➢タスク：バークリはなぜ死んだのか？（説明） 悪魔の足 [Wikipedia][青空文庫] ➢タスク：各人物を殺したのは誰か？（犯人＋説明） 花婿失踪事件（同一事件） [Wikipedia][青空文庫] ➢タスク：花婿はなぜ消えたか？（説明） 47
- 50. CC-BY4.0:人工知能学会 セマンティクWebとオントロジー（SWO）研究会 第2回推論チャレンジ －第1回からの変更点－ ナレッジグラフの構築方法の改良 ➢構築作業の効率化による対象ＫＧの拡大 対象とする小説の追加 ➢昨年度作成分１＋追加４編 ＝ 計５編に ✓複数の小説を対象にすることで，よる広範囲 な課題に取り組めるように！ 「ツール部門」の新設 ➢タスクを部分的に解く小規模なツールの開発でも応募 可能に 50
- 52. ツール部門への応募アイデア例
- 54. 想定するツールの具体例（１） 「まだらの紐」から犯人の動機を解く ➢ 昨年度の「上小田中411」チームのアプローチの一部 ✓殺人動機のオントロジーを作成 ✓https://www.slideshare.net/TakanoriUgai/ss-124021828 「背中の曲がった男」のモリソン嬢を容疑者リストから除外 ➢ 21:15に夫人は帰宅，モリソン嬢は戸口で下ろしてもらっている ✓ モリソン嬢は部屋に入っていない（？） ➢ 夫人は紅茶を１杯持ってくるよう女中に言いつけた ✓ この時点で部屋には夫人が一人（？） ➢ 21:25にバークリと夫人は言い争いをしている ✓ この時点で部屋にはバークリと夫人の二人 ➢ 部屋は中から鍵がかかっている ✓ 窓から入るしか無い ➢ 窓の外には男の足跡 ✓ モリソン嬢と一致しない 54 時間，鍵，足跡などの 情報から容疑者リストを 絞り込むツールが作れる? あくまでも一例
- 60. 参考文献 Report on the First Knowledge Graph Reasoning Challenge 2018 - Toward the eXplainable AI System，Proc. Of JIST2019 (to appear) 第１回ナレッジグラフ推論チャレンジ2018開催報告～ 第２回チャレンジ開催 案内～，第33回人工知能学会全国大会，1K2-J-4-04，2019 第1回ナレッジグラフ推論チャレンジ2018開催報告 ─ 説明性のある人工知能 システムを目指して─，人工知能学会学会誌34巻3号，pp.396-412, 2019 その他の参考資料は以下をご参照ください ➢ https://challenge.knowledge-graph.jp/reference.html 60