Связанные открытые данные (Linked Open Data)
4 likes4,956 views
Документ представляет собой введение в концепцию связанных открытых данных (Linked Open Data), описывающее их определение, методы связывания наборов данных и их публикацию в веб-пространстве. В нем подчеркивается важность проекта DBpedia как стимула для развития этой области, а также рассматриваются принципы, предложенные Тимом Бернерсом-Ли, для эффективного использования связанных данных. Документ также содержит примеры триплетов и иллюстрации, показывающие, как происходит триплетизация ресурсов.
Связанные открытые данные (Linked Open Data)
- 1. Связанные открытые данные @ AIMS Цикл вебинаров Linked Open Data @ AIMS 14 февраля 2013 года Введение в концепцию связанных открытых данных (Linked Open Data) Радченко Ирина Алексеевна кандидат технических наук, научный сотрудник Центра семантических технологий НИУ ВШЭ http://about.me/Irina.Radchenko НИУ ВШЭ, Москва, 2013
- 2. Содержание • Общее представление о Linked Open Data • Каким образом осуществляется связывание наборов данных? • Публикация наборов данных в пространстве Linked Open Data НИУ ВШЭ, Москва, 2013 2
- 3. • Общее представление о Linked Open Data НИУ ВШЭ, Москва, 2013 3
- 4. Эволюционирование веба Развитие веба Веб данных (связанные данные) Данные в вебе (открытые данные и т.д.) Веб документов (гипертекст) Документы в вебе (протокол Gopher и т.д.) 1990 2013 Время Источник: Linked Open Data: The Essentials. A Quick Start Guide for Decision Makers. http://www.semantic-web.at/LOD-TheEssentials.pdf НИУ ВШЭ, Москва, 2013 4
- 5. Основные понятия Связанные данные (Linked Data) — это наборы данных, опубликованные в RDF-формате с использованием унифицированного идентификатора ресурсов URI (Uniform Resource Identifier) для идентификации элементов, которые они содержат. НИУ ВШЭ, Москва, 2013 5
- 6. Основные понятия Связанные открытые данные (Linked Open Data) — это связанные наборы данных, опубликованные в RDF-формате и пригодные для использования и переиздания их пользователями в своих целях, без каких-либо ограничений в виде авторских прав, патентов и других механизмов контроля. НИУ ВШЭ, Москва, 2013 6
- 7. Проект DBpedia Проект DBpedia послужил важным стимулом для развития Linked Open Data. Источник: http://dbpedia.org/About НИУ ВШЭ, Москва, 2013 7
- 8. Динамика развития Linked Open Data Темпы нарастания объемов фактов Количество наборов LOD 2007 2008 2009 2010 Время Источник: http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData НИУ ВШЭ, Москва, 2013 8
- 9. Веб данных: связанные открытые данные Облако наборов LOD охватывает около 30 миллиардов триплетов и 500 миллионов связей СМИ География Публикации Созданный пользователями контент Государственные данные Междисциплинарные области Науки о жизни Источник: http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData НИУ ВШЭ, Москва, 2013 9
- 10. Пятизвездочная модель открытых данных по Тиму Бернерсу-Ли Источники: http://5stardata.info/, http://www.w3.org/DesignIssues/LinkedData.html НИУ ВШЭ, Москва, 2013 10
- 11. Связывание данных в контексте семантической паутины Тим Бернерс-Ли (Tim Berners-Lee) предложил идею связанных данных на основе четырех принципов, стимулирующих применение базовых принципов Web для доступа к данным: • Применение универсальных идентификаторов ресурсов (URI) в качестве имен объектов; • Применение HTTP URI для реализации возможности обращения по этим именам; • Предоставление полезной информации тому, кто обращается по URI, с помощью стандартов (RDF*, SPARQL); • Включение ссылок на другие URI, позволяющих найти дополнительную информацию. Источник: http://iradche.livejournal.com/12108.html НИУ ВШЭ, Москва, 2013 11
- 12. Интерпретация стека Linked Open Data Прикладной Поисковые Интеграция уровень Мэшапы системы данных Базы данных и Запросы на публикация данных SPARQL Лицензии открытых Словари Онтологии данных Обмен RDF Идентификаторы URL Элементы стека данных LOD – 2 мая 2011, Транспортный уровень: лицензия CC BY-CA-NC протокол HTTP Автор: Тим Дэвис (Tim Davies) Источники: http://www.opendataimpacts.net/2011/05/whats-in-the-linked-open-data-stack/, http://iradche.livejournal.com/9036.html НИУ ВШЭ, Москва, 2013 12
- 13. • Каким образом осуществляется связывание наборов данных? НИУ ВШЭ, Москва, 2013 13
- 14. Отличный пример из презентации Тома Бейкера (Tom Baker) Запись в AGRIS Эксперт VIVO BBC News Тезаурус AGROVOC BBC DBpedia Wikipedia Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 14
- 15. Ресурс 1: Проиндексированная статья в базе данных AGRIS Тема статьи “acrididae”, т.е. “grasshoppers”. Одного из авторов зовут “Han Jianguo”. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web, http://agris.fao.org/agris-search/search/display.do?f=2010%2FCN%2FCN0910.xml%3BCN2009002389 НИУ ВШЭ, Москва, 2013 15
- 16. Описание Ресурса 1 в виде «условных» триплетов Субъект Предикат Объект Ресурс 1 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 Ресурс 1 имеет автора Han Jianguo Ресурс 1 имеет тему Acrididae (grasshoppers) Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 16
- 17. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора Han Jianguo agris:CN2009002389 имеет тему Acrididae (grasshoppers) Ресурс 1 идентифицирован при помощи URI http://agris.fao.org/resource/CN2009002389. Сократим его до agris:CN2009002389. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 17
- 18. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора agris-author:hanjianguo agris:CN2009002389 имеет тему Acrididae (grasshoppers) Автор идентифицирован при помощи URI http://agris.fao.org/author/hanjianguo. Сократим его до agris-author:hanjianguo. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 18
- 19. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора agris-author:hanjianguo agris-author:hanjianguo имеет имя Han Jianguo agris:CN2009002389 имеет тему Acrididae (grasshoppers) Автор agris-author:hanjianguo имеет имя Han Jianguo. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 19
- 20. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора agris-author:hanjianguo agris-author:hanjianguo имеет имя Han Jianguo agris:CN2009002389 имеет тему agrovoc:c_4416 Тема идентифицируется при помощи URI http://aims.fao.org/aos/agrovoc/c_4416. Сократим ее до agrovoc:c_4416. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 20
- 21. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 имеет заголовок 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора agris-author:hanjianguo agris-author:hanjianguo имеет имя Han Jianguo agris:CN2009002389 имеет тему agrovoc:c_4416 agrovoc:c_4416 имеет пометку Acrididae (en) agrovoc:c_4416 имеет пометку 蝗科 (zh) Описание http://aims.fao.org/aos/agrovoc/c_4416 в AGROVOC Concept Scheme говорит нам о том, как этот концепт на английском и китайском языках. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 21
- 22. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 имеет автора agris-author:hanjianguo agris-author:hanjianguo имеет имя Han Jianguo agris:CN2009002389 имеет тему agrovoc:c_4416 agrovoc:c_4416 имеет пометку Acrididae (en) agrovoc:c_4416 имеет пометку 蝗科 (zh) Элемент Dublin Core “Title” (заголовок) идентифицирован при помощи URI http://purl.org/dc/terms/title. Сократим его до dct:title. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 22
- 23. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 agrovoc:c_4416 имеет пометку Acrididae (en) agrovoc:c_4416 имеет пометку 蝗科 (zh) Повторяем то же самое для автора (author, creator) и темы (topic, subject). Имя определено в словаре FOAF. Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 23
- 24. «Триплифицируем» описание Ресурса 1 Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 agrovoc:c_4416 skos:prefLabel Acrididae (en) agrovoc:c_4416 skos:prefLabel 蝗科 (zh) Свойство для пометок (preferred label) концепта определено в словаре Simple Knowledge Organization System (SKOS). Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 24
- 25. Триплет, построенный в виде графа dct:title 典型草… agris:CN…389 dct:subject dct:creator agrovoc:c_4416 agris-author: foaf:name hanjianguo Han Jianguo Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 25
- 26. Ресурс 2: статья в базе AGRIS на немецком языке Тема статьи “acrididae” Одного из авторов зовут “Peter, B” Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 26
- 27. Триплеты, описывающие Ресурс 2 в виде графа dct:title Heuschrecken agris:CH…179 dct:subject dct:creator agrovoc:c_4416 agris-author: foaf:name peterb Peter, B. Субъект Предикат Объект agris:CH2001000179 dct:title Heuschrecken brauchen ökologische Ausgleichsflächen agris:CH2001000179 dct:creator agris-author:peterb agris-author:peterb foaf:name Peter, B. agris:CH2001000179 dct:subject agrovoc:c_4416 Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 27
- 28. Соединяем триплеты Ресурса 1… Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 28
- 29. …с триплетами Ресурса 2 Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 agris:CH2001000179 dct:title Heuschrecken brauchen ökologische Ausgleichsflächen agris:CH2001000179 dct:creator agris-author:peterb agris-author:peterb foaf:name Peter, B. agris:CH2001000179 dct:subject agrovoc:c_4416 Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 29
- 30. Компьютер определяет совпадающие URI... Субъект Предикат Объект agris:CN2009002389 dct:title 典型草原三种蝗虫种群死 亡率的研究 agris:CN2009002389 dct:creator agris-author:hanjianguo agris-author:hanjianguo foaf:name Han Jianguo agris:CN2009002389 dct:subject agrovoc:c_4416 agris:CH2001000179 dct:title Heuschrecken brauchen ökologische Ausgleichsflächen agris:CH2001000179 dct:creator agris-author:peterb agris-author:peterb foaf:name Peter, B. agris:CH2001000179 dct:subject agrovoc:c_4416 Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web 30
- 31. Компьютер определяет совпадающие URI... dct:title Heuschrecken agris:CH…179 dct:subject dct:creator agris-author: foaf:name agrovoc:c_4416 peterb Peter, B. dct:subject agrovoc:c_4416 agris:CN…389 dct:title dct:creator 典型草… agris- foaf:name author:han jianguo Han Jianguo Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 31
- 32. …и соединяет (“связывает”) графы в один dct:title Heuschrecken agris:CH…179 dct:subject dct:creator agris-author: foaf:name agrovoc:c_4416 peterb Peter, B. Ресурсы на разных языках, dct:subject связанные agris:CN…389 ссылками dct:title на общий концепт. dct:creator 典型草… agris- author:han foaf:name jianguo Han Jianguo Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 32
- 33. Одна запись, много связей SKOS Запись в AGRIS AGROVOC FOAF AGRIS Authors Dublin Core Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 33
- 34. • Публикация наборов данных в пространстве Linked Open Data НИУ ВШЭ, Москва, 2013 34
- 35. Публикация наборов данных в пространстве Linked Open Data Для того чтобы опубликовать наборы данных в пространстве LOD, необходимо сделать следующие шаги Проанализировать данные. Необходимо окинуть критическим взглядом модель данных и метаданные. Очистить данные. Данные и информация, приходящие из различного рода источников в различных форматах (включая базы данных, форматы CVS, геоданные, XML и т.д.), нуждаются в дополнительной очистке для более легкого и эффективного моделирования представления данных. Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 35
- 36. Публикация наборов данных в пространстве Linked Open Data …далее… Сформировать модель представления данных. Создайте необходимые словари и тезаурусы для представления данных в RDF-формате. Создайте идентификаторы URI для каждых объектов. Выбрать подходящие словари. Существует большое количество RDF-словарей, которые можно использовать повторно. Выберите наиболее подходящий из них. Если подходящего словаря не найдено, то необходимо его создать. Каталог словарей можно посмотреть здесь: http://lov.okfn.org/dataset/lov Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 36
- 37. Публикация наборов данных в пространстве Linked Open Data RDF-словари Источник: http://lov.okfn.org/dataset/lov НИУ ВШЭ, Москва, 2013 37
- 38. Публикация наборов данных в пространстве Linked Open Data Определить лицензию/лицензии. Необходимо решить вопрос лицензирования наборов данных. Удобнее всего выбрать из уже существующих и наиболее популярных лицензий: — Creative Commons (http://creativecommons.org/choose/); — Open Data Commons (http://opendatacommons.org/licenses/). Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 38
- 39. Публикация наборов данных в пространстве Linked Open Data Конвертировать наборы данных в RDF-формат. Это очень важный этап, т.к. RDF-формат является официальным стандартом консорциума W3C для моделей представления данных Семантического веба. Обязательно включите выбранные лицензии в RDF-файлы. Выберите подходящий инструмент для перевода данных в RDF-формат http://www.w3.org/2005/Incubator/mmsem/wiki/Tools_and_Resources http://www.w3.org/wiki/ConverterToRdf http://www.inf.unideb.hu/~jeszy/rdfizers/ Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 39
- 40. Публикация наборов данных в пространстве Linked Open Data Проект Simile (Semantic Interoperability of Metadata and Information in unLike Environments) http://simile.mit.edu/wiki/RDFizers НИУ ВШЭ, Москва, 2013 40
- 41. Публикация наборов данных в пространстве Linked Open Data …далее… Связать наборы данных с наборами данных пространства LOD. Обязательно удостоверьтесь, что Ваши наборы данных связаны между собой, связаны с наборами данных из пространства LOD и доступны для связывания с наборами данных сторонними разработчиками. Это предоставит возможность машинной обработки представляемых наборов данных и позволит извлекать новые знания из представляемых наборов данных. Вычислите наиболее релевантные наборы данных для связывания с Вашими наборами данных. Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 41
- 42. Публикация наборов данных в пространстве Linked Open Data …и последнее Опубликовать и разрекламировать Ваши наборы данных в пространстве LOD. Опубликуйте Ваши наборы данных в вебе и разрекламируйте Ваши новые LOD- наборы данных. Даже лучшие наборы данных LOD не могут быть повторно использованы, если пользователь не узнает об их существовании и не сможет получить к ним доступ. Лучше всего добавить наборы данных в LOD облако. Источник: http://richard.cyganiak.de/2007/10/lod/ НИУ ВШЭ, Москва, 2013 42
- 43. Как сделать данные открытыми и связанными 1. Выделить наиболее значимые данные (например, Субъект, Автор, Публикатор и т.д.). 2. Использовать везде, где это возможно, URI для обозначения этих данных. 3. Опубликовать данные в формате RDF, чтобы пользователи могли связать свои данные. 4. Упростить. Простые решения дают хорошие результаты! Источник: http://www.slideshare.net/faoaims/linking-your-resources-to-the-data-web НИУ ВШЭ, Москва, 2013 43
- 44. Спасибо за внимание! http://about.me/Irina.Radchenko @iRadche http://iRadche.livejournal.com/ https://www.facebook.com/iRadche http://www.slideshare.net/iRadche