Linked Open Data（LOD）の基本理念と基盤となる技術
3 likes3,729 views
Linked Open Data（LOD）の基本理念と基盤となる技術
- 1. Linked Open Data（LOD）の 基本理念と基盤となる技術 大阪大学産業科学研究所 古崎 晃司 kozaki@ei.sanken.osaka-u.ac.jp 第25回 大図研オープンカレッジ(DOC) Linked Open Data を体験 書誌・所蔵データは宝の山！ 201７年6月18日＠大阪
- 2. 自己紹介 コミュニティ活動 古崎（こざき）晃司 @koujikozaki 本職： 大阪大学・准教授 専門： オントロジー工学，セマンティックWeb 研究方針：基礎理論に基づいたツール開発と， それを用いた応用研究の実践． 22017/6/18 ２０１１より 毎年開催している コンテスト 関西を中心とした LODの普及活動 大阪をITの力でよくしよ うと活動している団体 http://code4.osaka/about/ 研究成果として 公開中のソフト
- 3. 2017/6/18 3 LODチャレンジ （2011年～） ※自由課題型 http://lodc.jp/ キックオフシンポジウム 2017年9月28日(木) 重複応募可能 アーバンデータチャレンジ （2013年～） ※課題解決型 http://urbandata‐challenge.jp/ キックオフシンポジウム 2017年7月3日(月)
- 5. 講演概要 講演のねらい Linked Data/Linked Open Data(LOD)の基本 的な考え方と，基礎的な技術について理解する． LODの現状を知り，“どれくらい”使えそうか？を 感じる． 講演内容 Linked Dataの基盤技術 Linked Data/LODの構築事例 Linked Data/LODの利用例 まとめ 2017/6/18 5
- 6. はじめに，質問 以下の用語をご存知の方？ オントロジー セマンティック・ウェブ Linked Data/Linked Open Data（LOD） ナレッジグラフ SPARQL DBpedia Wikidata ティム・バーナーズ・リー（人名） 2017/6/18 6 知識をグラフ構造で表したもの （Linked Data・オントロジーの 両方を含む） 今後の，イチ押しのキーワード
- 8. Linked Data Linked Data：Web上のデータを，つなぐ（linkする）ことで，新しい価値 を生み出そうとする取り組み．Webの創始者Tim Berners-Lee氏が提唱 ※ Linked Open Data(LOD)：オープンな形で公開されたLinked Data http://linkeddata.org/ “Webの仕組み”に基づいてデータを公開することで， Web上に公開された膨大なデータを 統合した１つの知識ベースとして利用可能にする． 2017/6/18 8
- 9. Webの仕組み URLを指定することで，Webページにアクセス 例）https://sites.google.com/site/dtkosakaweb/h ome/reikai/dtkdoc2017 「第25回DOC」のページ URLは，世界中“すべて”のWebページの場所（ID） を一意に特定できる仕組み ハイパーリンクにより，Webページを“つなげる” リンク先のURLを指定することで，好きなWebページ と自由に“リンク”できる リンクを辿って，様々な情報にたどり着ける リンクを解析による様々なビジネス 例）Googleなどの検索エンジン 92017/6/18
- 10. Webの仕組み→Linked Data URLを指定することで，Webページにアクセス 例）https://sites.google.com/site/dtkosakaweb/h ome/reikai/dtkdoc2017 「第25回DOC」のページ URLは，世界中“すべて”のWebページの場所（ID） を一意に特定できる仕組み ハイパーリンクにより，Webページを“つなげる” リンク先のURLを指定することで，好きなWebページ と自由に“リンク”できる リンクを辿って，様々な情報にたどり着ける リンクを解析による様々なビジネス 例）Googleなどの検索エンジン 102017/6/18 データ データ Linked Data Webと同じ仕組みでデータを“公開”し， 相互に“つなぐ”（リンクする） URI・IRI データ（モノ・コト） データ（モノ・コト）
- 11. Linked Data (RDF)の例 日本 大阪大学 国 おおさかだいがく読み仮名 吹田市 00296951 (VIAF) 国立国会図書館典拠ID 本部所在地 http://www.wikidata.org/entity/Q651233 というIRIから得られる 情報の一部（Wikidataより） 00296951 （Web NDL Authorities） skos:exactMatch 大阪大学標目 リソース： IRIで表される事物 プロパティ： リソース間（もしくはリ ソースとリテラル間）の 関係を表す リテラル ：文字列 主語 述語 目的語 トリプル（3つ組み） ①RDFは「トリプルの組み合わせ」 で表される ②目的語が他のリソースのとき，トリプル を辿って更なる情報が得られる 注：この図中においてリソースとプロパティは名前を示しているが，正確には すべてのリソースおよびプロパティがIRI用いて表されている．2017/6/18 11
- 12. Linked Data (RDF)の例 http://www.wikidata. org/entity/Q17 http://www.wikidata. org/entity/Q651233 https://www.wikidata.org/entry/P17 おおさかだいがく https://www.wikidata.org/entry/P1814 http://www.wikidata. org/entity/Q653510 http://viaf.org/ viaf/136860286 https://www.wikidata.org/entry/P349 https://www.wikidata.org/entry/P159 http://id.ndl.go.jp/auth /ndlna/00296951 http://www.w3.org/2004/02/skos/core#exactMatch 大阪大学 http://www.w3.org/2008/05/skos-xl#prefLabel すべてのリソースおよび プロパティはIRI用いて 表される 2017/6/18 12
- 13. データを「つなげる」仕組み 「３つ組（トリプル）」により様々な構造のデータの “つながりを柔軟に表現”できる Webサイトのリンクを辿るのと同様に，プロパティ（リンク）を辿る ことで関連するデータの情報を辿ることが出来る． RDFのプロパティは，“関係の意味”を定義できる． cf. Webのハイパーリンクは単に“つながり”を表すのみ データ（リソース）をIRIで表すことで，“外部のデータとつ なげる”ことができる． URIは，グローバルに一意のIDを表す． WebサイトのURLと同じ仕組み． cf．単なる数字をIDとすると，異なるDBが同じIDを使っている可能性 がある Linked Data = 外部のデータとつながったデータ ≠ RDFフォーマットのデータ 2017/6/18 13
- 14. Linked Dataの基本原則 1. Use URIs as names for things 全てのモノやコトにURIをつけましょう 2. Use HTTP URIs so that people can look up those names. それらのURIをhttp（Webブラウザと同じ方法） で参照（アクセス）できるようにしましょう 3. When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL) そのURIを参照したら，標準の技術（RDFやSPARQL）を使用し て，役に立つ情報を提供するように 4. Include links to other URIs. so that they can discover more things. 多くのモノ・コトを発見できるように，外部へのリンクを含めよう． 原文引用元 http://www.w3.org/DesignIssues/LinkedData.html 日本語訳参考 http://www.slideshare.net/takeda/lod-5163454 2017/6/18 14
- 15. Linked Dataの基本原則 1. Use URIs as names for things 全てのモノやコトにURIをつけましょう 2. Use HTTP URIs so that people can look up those names. それらのURIをhttp（Webブラウザと同じ方法） で参照（アクセス）できるようにしましょう 3. When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL) そのURIを参照したら，標準の技術（RDFやSPARQL）を使用し て，役に立つ情報を提供するように 4. Include links to other URIs. so that they can discover more things. 多くのモノ・コトを発見できるように，外部へのリンクを含めよう． 原文引用元 http://www.w3.org/DesignIssues/LinkedData.html 日本語訳参考 http://www.slideshare.net/takeda/lod-5163454 2017/6/18 15 Linked Data の公開方法について
- 16. LODの公開方法 参照解決可能なhttp IRIs（URL,URI）を用いた公開 IRIでデータにアクセスが可能 通常のWebページと同様に，データのURIを用いて 「つながり」を辿ることが出来る ＝システムによる処理（リンク解析等）が可能 SPARQLエンドポイントの公開 RDF用のクエリ言語SPARQLにより検索可能なAPIを公開 クエリによるデータ検索・抽出が可能 RDFファイルのダンプの公開 全データをダウンロードできる形で公開 ダウロードしたファイルをRDFパーサー，RDF-DBなどの ツールを用いて処理可能 2017/6/18 16
- 17. 参照解決可能IRIによる公開 参照解決可能なhttp IRIs（URL,URI）を用いた公開 IRIでデータにアクセスが可能 ＝システムによる処理（リンク解析等）が可能 コンテンツネゴシエーションに対応していると，アクセス するツールに応じた形式での取得が可能 例）Webブラウザでアクセス → HTML Linked Dataブラウザでアクセス → RDF/XML など 拡張子を変えることで，取得形式を変えることも可能 例）.rdf→RDF/XML， .ttl→Turtle，.json→JSON/LD など LODブラウザの例 (Yet Another) Linked Data Browser http://www.kanzaki.com/works/2014/pub/ld-browser 2017/6/18 17
- 20. Linked Dataブラウザによる LODへのアクセス例 2017/6/18 20 (Yet Another) Linked Data Browser http://www.kanzaki.com/work s/2014/pub/ld-browser を利用した閲覧例 →URIの欄に閲覧したいデータ のIRI（URI）を入力する この例では， http://id.ndl.go.jp/auth/ndlna/ 00296951
- 21. SPARQLによるRDFの検索 SPARQL RDFデータに対するクエリ言語 「指定したグラフ構造」に一致するトリプルを検索する 最も基本的な検索 select ?s ?p ?o where { ?s ?p ?o . } LIMIT 100 ←取得する数の制限 ←検索するグラフのパターン ←返す要素 （*は全て） この例では「任意のトリプルの組み合わせ」 このパターンを変 えることで，欲しい データを取得する 212017/6/18
- 22. SPARQLによるRDFの検索例 2017/6/18 22 Web NDL Authoritiesの SPARQL Endpoint http://id.ndl.go.jp/auth/ndla 使い方説明 http://id.ndl.go.jp/information/sparql/
- 23. SPARQLクエリの例 2017/6/18 23 ラベルが”大阪大学”と一致するデータを取得 prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> select ?s where { ?s rdfs:label "大阪大学" . }LIMIT 100 ラベルに”大阪大学”を含むデータを取得 prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> select ?s ?l where { ?s rdfs:label ?l . FILTER(regex(str(?l), "大阪大学" )) . }LIMIT 100
- 24. SPARQLクエリの結果例 2017/6/18 24 Web NDL Authorities http://id.ndl.go.jp/information/sparql/ での検索結果の例
- 25. まとめ： Linked Dataの基盤技術 Linked Dataは，Web上で公開されたデータを 「つなぐ」仕組み URL（IRI）を用いたグローバルに一意なデータの識別 データ間の“リンク” Webと同じ仕組みを用いたデータのアクセス IRIによる直接アクセス SPARQLエンドポイント（API）によるアクセス これらの仕組みが標準化されているため， データの共有が容易に行える． 公開されているLinked Data（LOD）を利用することで， -データ構築コストの削減， -データへのセマンティクスの付与 が可能に！ 2017/6/18 25
- 27. 既に公開・リンクされているLOD ～LODクラウド～ 2007/5/1 2007/10/82008/9/182009/7/14 2010/9/222011/9/19時点 Linking Open Data cloud diagram 2014, by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ １つの丸が個別に公開 されたDBを表す． 2014/08/30時点 2017/6/18 27 DBpedia
- 28. 既に公開・リンクされているLOD ～LODクラウド～ 28 Domains # of dataset % Government 183 18.05 Publications 96 9.47 Life sciences 83 8.19 User-generated content 48 4.73 Cross-domain 41 4.04 Media 22 2.17 Geographic 21 2.07 Social web 520 51.28 Total 1014 2017/6/18
- 29. LODクラウドの最新版 Linking Open Data cloud diagram 2017, by Andrejs Abele, John P. McCrae, Paul Buitelaar, Anja Jentzsch and Richard Cyganiak. http://lod-cloud.net/ 2017-02-20時点 データセット数 ：1,139 2017/6/18 29
- 32. Wikidata（http://wikidata.org/） • ウィキメディア財団が運営する Wikipediaの「データ版」 • Wikipediaと同じようにデータを コミュニティで編集，公開できる • Wikipediaの「多言語リソース」 の相互リンクのために整備 • SPARQLエンドポイントや各種検 索ツールなども提供 2017/6/18 32
- 33. 日本語で使えるLODの例 法人インフォ（経済産業省） eStat 統計LOD 国立国会図書館LOD 大阪市オープンデータポータル DBpedia（WikipediaのLOD） Ｗｉｋｉｄａｔａ 2017/6/18 33
- 34. 日本語LODクラウド 2017/6/18 34 日本語Linked Data Cloud図 2015-11-18版 https://github.com/lodinit iative/JLDC
- 35. 図書館関係のLOD/Linked Dataの例 Web NDL Authorities 2017/6/18 35 https://id.ndl.go.jp/auth/ndla/ ・SPARQLエンドポイントあり ・参照解決可能 .rdf .ttl .json
- 37. 図書館関係のLOD/Linked Dataの例 図書館施設データポータル 2017/6/18 37 http://uedayou.net/ld/library/ ・参照解決可能 .json .xml .ttl .nt .jsonld
- 39. Linked Dataの利用形態 Linked Dataから知識を検索/抽出 事実情報の取得 解析に用いるデータ（一覧）の取得 複数のLinked Dataの統合（マッシュアップ） Linked Dataを用いたメタデータの付与 文献等のメタデータとして利用 自然言語文へのアノテーションでの利用 2017/6/18 39
- 40. 例）LODからの事実情報の取得 2017/6/18 40 DBpediaを百科事典的な “知識”（事実情報）を取得する ための汎用情報源として利用 医療分野での利用例 http://lodc.med-ontology.jp/ 生物分野での利用例 http://biomimetics.hozo.jp/ 多言語対応も可能！
- 41. 例）Bpedia/Wikidataからの解析用 のデータ取得 2017/6/18 41 簡単なランキングデータの取得 例）都道府県毎の「〇〇」の数 政治家（出生地）．．．１位は東京 「？？」 ．．．１位は大阪 簡単な場所情報の取得 位置情報データの一覧 例：大阪市内の位置情報 http://lodosaka.jp/tool/wikidataMap/ 例：東京都内の位置情報 http://lodosaka.jp/tool/wikidataMapTokyo/ （解説）Qiita：DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10
- 42. DBpedia Japaneseの検索例 「各都道府県で生まれた政治家の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Politician; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c 42 （解説）Qiita：DBpediaを使った都道府県別ランキング http://qiita.com/koujikozaki/items/439fa7ce3e28b738fe10 2017/6/18
- 43. DBpedia Japaneseの検索例 「各都道府県で生まれた芸人の数」を調べる PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX dbpedia-ja: <http://ja.dbpedia.org/resource/> PREFIX category-ja: <http://ja.dbpedia.org/resource/Category:> select distinct ?pref (count(?s) AS ?c) where { ?pref rdf:type dbpedia-owl:Place. ?pref dbpedia-owl:wikiPageWikiLink category-ja:日本の都道府県. ?s rdf:type dbpedia-owl:Comedian; dbpedia-owl:birthPlace ?pref. }GROUP BY ?pref ORDER BY ?c ここを， Politician→Comedian に変えるだけ！ 432017/6/18
- 45. ナレッジグラフ (Knowledge Graph) • さまざまな「知識」の関係（つながり）をグラフ 構造で表したもの． • 知的システム開発の基盤となるデータベース （知識ベース）として用いられる． 2017/6/18 45 参考情報
- 46. Google Knowledge Graph 2017/6/18 • Knowledge Graph （知識グラフ） と呼ばれる，知識の“つながり”を 活用した様々なサービスの開発が， Google，Yahoo!，Facebookなど多 くのネット企業で進められている． →Google Knowledge Graphは 2012年サービス開始 https://www.google.com/intl/es419/insidesearch/features/search/knowledge.html 46
- 48. まとめ： Linked Dataの構築事例 LODクラウド Linked Open Data（LOD）として公開されているデータセット の“つながり”を可視化した図 2017年2月20日時点で，1,139のデータセットが登録． 日本でのLinked Data/LOD DBpedia，Wikidataのような汎用のものに加えて，政府デー タのLOD化も一部，進められている． 図書館/学術情報分野において，様々なデータセットの Linked Data/LOD化が進められている Linked Data/LODの利用 様々な知識を得るための情報源として用いる メタデータを付与に用いる 2017/6/18 48
- 49. まとめ Linked Data Webの仕組みをデータを公開する仕組み IRIによるグローバルなID データ間の“リンク” Linked Open Data Linked Dataとして公開されたオープンデータ この10年で多くのデータがLinked Data/LOD として公開されている． 2017/6/18 49
- 50. 参考資料 リンクト・オープン・データ連続講座（東京） 「LODの基本から応用最新情報まで」 http://linkedopendata.jp/?cat=17 LODI（リンクト・オープン・データ・イニシアティブ）による LODに関する講座 関西地方での開催も計画中！ 講座内容（過去の資料が一部公開されている） 第１回 「オープンデータからLinked Open Dataへ」 第２回 「情報の構造化」 第３回 「RDF入門」 第４回 「スキーマとURI」 第５回 「LODの作り方・使い方」 第６回 「LODシステム実践紹介」 2017/6/18 50
- 51. 参考資料 LODハッカソン関西のWebサイト http://lodosaka.jp 各種技術情報もまとめています． 関連書籍 Linked Data: Webをグローバルなデータ空間にす る仕組み トム ヒース (著), クリスチャン バイツァー (著), 武田 英明 (翻訳) オープンデータ時代の標準Web API SPARQL 加藤 文彦 (著), 川島 秀一 (著), 岡別府 陽子 (著), 山本 泰 智 (著), 片山 俊明 (著) セマンティックWebとリンクトデータ 兼岩 憲 (著) 2017/6/18 51