SlideShare a Scribd company logo
takemikamiʼs note ‒ http://takemikami.com/
RDFチェックツール「rdflint」のご紹介
LODチャレンジ2019受賞作品紹介 基盤技術部⾨優秀賞
Copyright (C) Takeshi Mikami. All rights reserved. 1
三上 威 - @takemikami
アーリース情報技術株式会社 代表取締役 社⻑
LODチャレンジ2019シンポジウム
2019.12.7 @⽇本オラクル株式会社 本社 (オラクル⻘⼭センター)
takemikamiʼs note ‒ http://takemikami.com/
LODデータ作成・運⽤の全体イメージ
Copyright (C) Takeshi Mikami. All rights reserved. 2
LODデータ作成・運⽤の全体イメージを⽰します
マスターデータ
チェックプロセス
チェックする⼈
追加・修正リクエストする⼈達
サーバ
①修正依頼を送る
②依頼内容をチェック
③マスターに反映
④サーバに反映
チェックに⼿間がかかる
&システムの知識も必要
チェックに⼿間がかかる
&システムの知識も必要
takemikamiʼs note ‒ http://takemikami.com/
LODデータ作成・運⽤の課題
• ⽬標:
誰でもデータの追加・修正の
リクエストをすることが出来る
• 障害:
確認作業(LODサーバ構築、データのロード)
に⼿間と知識が必要になる
=「誰でも」リクエスト出来る状態ではない
Copyright (C) Takeshi Mikami. All rights reserved. 3
LODデータ作成・運⽤の課題意識を説明します
→確認作業を簡単にできるチェックツールを整備する
RDFチェックツール「rdflint」の開発・導⼊
takemikamiʼs note ‒ http://takemikami.com/
rdflintで出来ること① 〜RDFファイルとして正しいか〜
Copyright (C) Takeshi Mikami. All rights reserved. 4
rdflintで出来ること: RDFファイルとして正しいかのチェック のイメージを⽰します
<rdf:Description rdf:about="detail/Hakozaki_Serika">
<imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana>
<schema:name xml:lang="ja">箱崎星梨花</schema:name>
<foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age>
<rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/>
<imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/>
</rdf:Description>
detail/Hakozaki_Serika
http://ja.dbpedia.org/resource/⿇倉もも
はこざきせりか
imasrdf/URIs/imas-schema.ttl#Idol
箱崎星梨花
13
imas:nameKana
imas:name
foaf:age
rdf:type
imas:cv
リソースのURI
リテラル
凡例:
RDFファイルとして
正しいかチェック
takemikamiʼs note ‒ http://takemikami.com/
rdflintで出来ること② 〜主語の存在チェック〜
Copyright (C) Takeshi Mikami. All rights reserved. 5
rdflintで出来ること: 主語の存在チェック のイメージを⽰します
<rdf:Description rdf:about="detail/Hakozaki_Serika">
<imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana>
<schema:name xml:lang="ja">箱崎星梨花</schema:name>
<foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age>
<rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/>
<imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/>
</rdf:Description>
detail/Hakozaki_Serika
http://ja.dbpedia.org/resource/⿇倉もも
はこざきせりか
imasrdf/URIs/imas-schema.ttl#Idol
箱崎星梨花
13
imas:nameKana
imas:name
foaf:age
rdf:type
imas:cv
リソースのURI
リテラル
凡例:
データセットで
管理されている主語が
定義されているかチェック
データセットで
管理されている主語が
定義されているかチェック
データセットで
管理されている主語が
定義されているかチェック
データセットで
管理されている主語が
定義されているかチェック
takemikamiʼs note ‒ http://takemikami.com/
SPARQLのテスト実⾏環境 実⾏イメージ
Copyright (C) Takeshi Mikami. All rights reserved. 6
SPARQLのテスト実⾏環境(インタラクティブモード)の実⾏イメージを⽰す
$ java -jar rdflint-0.0.6-all.jar -i -config .circleci/rdflint-config.yml
sparql > PREFIX schema: <http://schema.org/>
> PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
> PREFIX imas: <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#>
> SELECT ?星梨花の主語
> WHERE {
> ?星梨花の主語 rdf:type imas:Idol;
> schema:name ?アイドル名.
> filter(contains(?アイドル名,"箱崎星梨花"))
> }
>
--------------------------------------------------------------------
| 星梨花の主語 |
====================================================================
| <https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_Serika> |
--------------------------------------------------------------------
rdflintインタラクティブモードでのクエリ実⾏
クエリ
実⾏結果
takemikamiʼs note ‒ http://takemikami.com/
まとめ
• LODデータ作成・運⽤するためには、
⼿間のかかる確認作業が発⽣
• ⼿間がかかる上に、システムの知識も必要
• 確認作業は「rdflint」で⽀援・⾃動化出来る
• rdflintには、本紹介資料以外にもチェックを実装
• rdflintはオープンソースで開発中
• 詳細ドキュメントの参照・rdflintへの機能追加リクエスト
はGitHubから
Copyright (C) Takeshi Mikami. All rights reserved. 7
作品紹介のまとめです
rdflintのリポジトリ: https://github.com/imas/rdflint

More Related Content

PDF
RDFのチェックツール「rdflint」と コミュニティによるオープンデータの作成
PDF
データサイエンスアイドル「小日向美穂」と考える「つながり」
PDF
rdflintのvscode拡張の紹介とその実装方法
PDF
RDFチェックツール「rdflint」のご紹介
PDF
(Tech DeepDive #1) Java Flight Recorder を活用した問題解決
PDF
Search engineering tech talk 2019 summer
PDF
[db tech showcase Tokyo 2018] #dbts2018 #E37 『Attunity Replicateが変えた Oracle D...
RDFのチェックツール「rdflint」と コミュニティによるオープンデータの作成
データサイエンスアイドル「小日向美穂」と考える「つながり」
rdflintのvscode拡張の紹介とその実装方法
RDFチェックツール「rdflint」のご紹介
(Tech DeepDive #1) Java Flight Recorder を活用した問題解決
Search engineering tech talk 2019 summer
[db tech showcase Tokyo 2018] #dbts2018 #E37 『Attunity Replicateが変えた Oracle D...

Similar to RDFチェックツール「rdflint」のご紹介 (LODチャレンジ2019受賞作品紹介 基盤技術部門優秀賞) (20)

PDF
CloudHubのログバックアップについて
PDF
サイバー攻撃ワークショップ サイバー攻撃の変遷について_公開用第2回全体ミーティング
PDF
スタートアップ向け!1人日でできるサービスの高速化方法と成果
PDF
Spark SQL - The internal -
PDF
SAIS/SIGMOD参加報告 in SAIS/DWS2018報告会@Yahoo! JAPAN
PDF
Web Site Optimization for Beginners
PPTX
ドメイン・財務分析
PPTX
SORACOMサービスを利用してフルスケールIoT
PDF
こんな辛いテストはいやだ
PDF
ソーシャルアプリを分析してみた
PDF
CO2センサー×SORACOMサービスの活用事例
PDF
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
PPTX
アドレスバーにURL打ち込んでからページが表示されるまでに 何が起こっているか
PDF
Netadashi Meetup #6 20170629
PDF
Kubernetes Cluster Adminやってました #con_rider
PDF
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
PDF
SPAを選択した理由とその結果 ~Reactを添えて~
PDF
おすすめインフラ! for スタートアップ
PPTX
Spark+AI Summit Europe 2019 セッションハイライト(Spark Meetup Tokyo #2 講演資料)
PDF
cndjp: 「Microclimate」by capsmalt
CloudHubのログバックアップについて
サイバー攻撃ワークショップ サイバー攻撃の変遷について_公開用第2回全体ミーティング
スタートアップ向け!1人日でできるサービスの高速化方法と成果
Spark SQL - The internal -
SAIS/SIGMOD参加報告 in SAIS/DWS2018報告会@Yahoo! JAPAN
Web Site Optimization for Beginners
ドメイン・財務分析
SORACOMサービスを利用してフルスケールIoT
こんな辛いテストはいやだ
ソーシャルアプリを分析してみた
CO2センサー×SORACOMサービスの活用事例
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
アドレスバーにURL打ち込んでからページが表示されるまでに 何が起こっているか
Netadashi Meetup #6 20170629
Kubernetes Cluster Adminやってました #con_rider
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
SPAを選択した理由とその結果 ~Reactを添えて~
おすすめインフラ! for スタートアップ
Spark+AI Summit Europe 2019 セッションハイライト(Spark Meetup Tokyo #2 講演資料)
cndjp: 「Microclimate」by capsmalt
Ad

More from Takeshi Mikami (20)

PDF
適切なクラスタ数を機械的に求める手法の紹介
PDF
OAuth 2.0による認可の流れ
PDF
MapReduceによるConnected Components(連結成分)の見つけ方
PDF
CircleCIを使ったSpringBoot/GAEアプリ開発の効率化ノウハウ
PDF
GitHubの機能を活用したGitHub Flowによる開発の進め方
PDF
HBase CompleteBulkLoadその仕組み&発生した問題
PDF
アーリース情報技術株式会社 会社案内 (2019/02/13)
PDF
Spark MLlib ML Pipelines の概要 及びpysparkからの扱い方
PDF
SPARQL入門
PDF
センサーによるデータ計測と異常検知の基本
PDF
Webサイトのアクセスログによるユーザー属性推定
PDF
Google Cloud Dataflowによる データ変換処理入門
PDF
IoTでの機械学習活用イメージと強化学習のご紹介
PDF
協調フィルタリング・アソシエーション分析によるレコメンド手法の紹介
PDF
SparkMLlibで始めるビッグデータを対象とした機械学習入門
PDF
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
PDF
レコメンドアルゴリズムの基本と周辺知識と実装方法
PDF
担当アイドルに反応してLチカさせる予測モデル開発
PDF
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
PDF
Apache Hbase バルクロードの使い方
適切なクラスタ数を機械的に求める手法の紹介
OAuth 2.0による認可の流れ
MapReduceによるConnected Components(連結成分)の見つけ方
CircleCIを使ったSpringBoot/GAEアプリ開発の効率化ノウハウ
GitHubの機能を活用したGitHub Flowによる開発の進め方
HBase CompleteBulkLoadその仕組み&発生した問題
アーリース情報技術株式会社 会社案内 (2019/02/13)
Spark MLlib ML Pipelines の概要 及びpysparkからの扱い方
SPARQL入門
センサーによるデータ計測と異常検知の基本
Webサイトのアクセスログによるユーザー属性推定
Google Cloud Dataflowによる データ変換処理入門
IoTでの機械学習活用イメージと強化学習のご紹介
協調フィルタリング・アソシエーション分析によるレコメンド手法の紹介
SparkMLlibで始めるビッグデータを対象とした機械学習入門
Ims@sparqlではじめるr markdownとgitbookによるレポート生成
レコメンドアルゴリズムの基本と周辺知識と実装方法
担当アイドルに反応してLチカさせる予測モデル開発
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Apache Hbase バルクロードの使い方
Ad

RDFチェックツール「rdflint」のご紹介 (LODチャレンジ2019受賞作品紹介 基盤技術部門優秀賞)

  • 1. takemikamiʼs note ‒ http://takemikami.com/ RDFチェックツール「rdflint」のご紹介 LODチャレンジ2019受賞作品紹介 基盤技術部⾨優秀賞 Copyright (C) Takeshi Mikami. All rights reserved. 1 三上 威 - @takemikami アーリース情報技術株式会社 代表取締役 社⻑ LODチャレンジ2019シンポジウム 2019.12.7 @⽇本オラクル株式会社 本社 (オラクル⻘⼭センター)
  • 2. takemikamiʼs note ‒ http://takemikami.com/ LODデータ作成・運⽤の全体イメージ Copyright (C) Takeshi Mikami. All rights reserved. 2 LODデータ作成・運⽤の全体イメージを⽰します マスターデータ チェックプロセス チェックする⼈ 追加・修正リクエストする⼈達 サーバ ①修正依頼を送る ②依頼内容をチェック ③マスターに反映 ④サーバに反映 チェックに⼿間がかかる &システムの知識も必要 チェックに⼿間がかかる &システムの知識も必要
  • 3. takemikamiʼs note ‒ http://takemikami.com/ LODデータ作成・運⽤の課題 • ⽬標: 誰でもデータの追加・修正の リクエストをすることが出来る • 障害: 確認作業(LODサーバ構築、データのロード) に⼿間と知識が必要になる =「誰でも」リクエスト出来る状態ではない Copyright (C) Takeshi Mikami. All rights reserved. 3 LODデータ作成・運⽤の課題意識を説明します →確認作業を簡単にできるチェックツールを整備する RDFチェックツール「rdflint」の開発・導⼊
  • 4. takemikamiʼs note ‒ http://takemikami.com/ rdflintで出来ること① 〜RDFファイルとして正しいか〜 Copyright (C) Takeshi Mikami. All rights reserved. 4 rdflintで出来ること: RDFファイルとして正しいかのチェック のイメージを⽰します <rdf:Description rdf:about="detail/Hakozaki_Serika"> <imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana> <schema:name xml:lang="ja">箱崎星梨花</schema:name> <foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age> <rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/> <imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/> </rdf:Description> detail/Hakozaki_Serika http://ja.dbpedia.org/resource/⿇倉もも はこざきせりか imasrdf/URIs/imas-schema.ttl#Idol 箱崎星梨花 13 imas:nameKana imas:name foaf:age rdf:type imas:cv リソースのURI リテラル 凡例: RDFファイルとして 正しいかチェック
  • 5. takemikamiʼs note ‒ http://takemikami.com/ rdflintで出来ること② 〜主語の存在チェック〜 Copyright (C) Takeshi Mikami. All rights reserved. 5 rdflintで出来ること: 主語の存在チェック のイメージを⽰します <rdf:Description rdf:about="detail/Hakozaki_Serika"> <imas:nameKana xml:lang="ja">はこざきせりか</imas:nameKana> <schema:name xml:lang="ja">箱崎星梨花</schema:name> <foaf:age rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">13</foaf:age> <rdf:type rdf:resource="https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#Idol"/> <imas:cv rdf:resource="http://ja.dbpedia.org/resource/⿇倉もも"/> </rdf:Description> detail/Hakozaki_Serika http://ja.dbpedia.org/resource/⿇倉もも はこざきせりか imasrdf/URIs/imas-schema.ttl#Idol 箱崎星梨花 13 imas:nameKana imas:name foaf:age rdf:type imas:cv リソースのURI リテラル 凡例: データセットで 管理されている主語が 定義されているかチェック データセットで 管理されている主語が 定義されているかチェック データセットで 管理されている主語が 定義されているかチェック データセットで 管理されている主語が 定義されているかチェック
  • 6. takemikamiʼs note ‒ http://takemikami.com/ SPARQLのテスト実⾏環境 実⾏イメージ Copyright (C) Takeshi Mikami. All rights reserved. 6 SPARQLのテスト実⾏環境(インタラクティブモード)の実⾏イメージを⽰す $ java -jar rdflint-0.0.6-all.jar -i -config .circleci/rdflint-config.yml sparql > PREFIX schema: <http://schema.org/> > PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> > PREFIX imas: <https://sparql.crssnky.xyz/imasrdf/URIs/imas-schema.ttl#> > SELECT ?星梨花の主語 > WHERE { > ?星梨花の主語 rdf:type imas:Idol; > schema:name ?アイドル名. > filter(contains(?アイドル名,"箱崎星梨花")) > } > -------------------------------------------------------------------- | 星梨花の主語 | ==================================================================== | <https://sparql.crssnky.xyz/imasrdf/RDFs/detail/Hakozaki_Serika> | -------------------------------------------------------------------- rdflintインタラクティブモードでのクエリ実⾏ クエリ 実⾏結果
  • 7. takemikamiʼs note ‒ http://takemikami.com/ まとめ • LODデータ作成・運⽤するためには、 ⼿間のかかる確認作業が発⽣ • ⼿間がかかる上に、システムの知識も必要 • 確認作業は「rdflint」で⽀援・⾃動化出来る • rdflintには、本紹介資料以外にもチェックを実装 • rdflintはオープンソースで開発中 • 詳細ドキュメントの参照・rdflintへの機能追加リクエスト はGitHubから Copyright (C) Takeshi Mikami. All rights reserved. 7 作品紹介のまとめです rdflintのリポジトリ: https://github.com/imas/rdflint