semantic web and integration of library recources

Editor's Notes

• #2: 大家好，这次我演讲的主题是“语义网技术在图书馆数字资源聚合中的应用”
• #3: 主要是从这5个方面展开论述，分别是：“引言”，“聚合时使用到的主要的语义网技术”，“资源怎么进行深度聚合”，“聚合时可以使用的工具”，以及最后的“总结与展望”。
• #4: 如果我们想从图书馆查找资源，就比方说，查找“平凡的世界”，图书馆返回给我们的是这样的一个结果，就是对于这本书著录了什么内容，就只能返回什么内容，但是如果我们想要进一步了解关于作者“路遥”的信息的话，就必须再从其他的网上资源进行获取，需要不同系统之间跳转，进行选择过滤。语义网技术的出现就可以解决这一问题，它可以自动的从外部找到与之相关的语义上的信息返回给用户，用户就可以在查找一种资源时得到更多的关于这个资源的描述。
• #5: 在资源聚合时主要涉及的语义网技术包括：语义标准（包括像RDF、RDFS以及SKOS等）、本体（有图书馆本体和能够和图书馆资源进行聚合的外部本体）和关联数据（介绍几种主流的图书馆关联数据服务）。下面一一来看下这几种语义网技术。
• #6: 目前语义网所使用的一般资源语义描述标准包括RDF、RDFS、OWL等，RDF就是为资源提供了一种语义描述框架，是基于XML语法的，而RDFS是描述了类及其属性，类之间的关系，它为RDF提供了所需的词汇表。当使用了这些标准对资源进行语义描述后，在资源进行聚合时就有了统一的语义接口。比如说，这本书，如果我们用传统的MARC格式对它进行描述的话，就会呈现这种格式，每个属性都对应着一个字段的标记；而如果用RDF进行描述的话，就可以自己设定标签，并且每个标签都有特定的含义。这时，如果我们想要加入作者的其它相关信息（像email,address,blog等），在MARC格式中，就需要加入到附注字段(500字段中)，但是这样的话作者这个字段和附注字段间就没有语义上的关联，但如果是加入到RDF描述的格式中，我们就可以在author的底下再加入三个关于author的属性，这样他们之间就具有了语义关系。
• #7: 本体是基于语义描述标准之上的，它是对一个特定领域中重要概念的共享的形式化的描述的抽象模型，是一种规范说明，对于图书馆来说，它就可以将图书馆中的知识资源在语义层次上组织起来。利用重组织的知识资源可以构建图书馆资源的本体库和知识库，从而为用户提供语义检索功能；当然我们还可以结合大众分类法，将大众标签按照本体构造方式进行组织，为用户提供语义推荐。
• #8: 本体除了能够对图书馆资源进行语义描述构建图书馆的元数据本体，像MarcOnt、BIBO以及FRBR等对图书馆元数据进行本体化描述，当然它更多是对外部海量的网络资源进行语义描述，就是我们这里指的外部本体，主要包括：FOAF（对人物的描述）、EVENT（对于事件的描述）、DBpedia Ontology（对于从Wikipedia中抽取出来的实体进行描述）图书馆资源与这些外部本体进行聚合，可以对图书馆书目资源、数据库资源等进行扩展描述。
• #9: 另外一个对于资源聚合起到重要作用的语义网技术就是关联数据，关联数据提供了一种新的数据分享方式，使得基于标准网络协议的、海量的Web 数据富含语义，并提供面向人和面向机器的数据消费接口。其中，全球最大的关联数据中心 Data Hub共有3880个数据集，最大的组是包含327个数据集的LOD云组，涵盖了多个领域。在图书馆领域中，LOV（linked open vocabularies）是最大的关联开放词表，它的每一类词表都是集合了众多的领域本体、描述本体以及一些专业的词汇标准等。
• #10: 这是关联开放云图上的一部分，可以看到DBpedia与其他数据集关联最多，它含有340多万个概念，有11种语言对这些概念进行描述，Geo-names也是包含了近750万个地理性数据，还有这里的RDF Book Mashup图书馆领域中的书目数据
• #11: LOV也是包含了多个大类，其中我们可以看到Library类中，最大的词表形式SKOS。
• #12: 这是利用关联数据技术实现了三种主流的图书馆关联数据服务，包括书目数据关联、词表关联、科技论文关联。对于书目数据关联服务有瑞典国家图书馆统一书目描述标准、世界上最大的在线联合编目WorldCat，还有我们刚才在LOD云图上看到的RDF-Book Mashup。词表关联服务最常见到的LCSH，美国国会图书馆主题词表，它就是根据SKOS格式对LC中的所有主题词表进行语义关联，并进行发布，提供关联数据服务。还有专门根据某个特定领域而提供的关联数据服务，像DBLP，是针对计算机领域中的期刊及会议中文献 的作者进行关联提供服务。
• #13: 利用这些语义网技术，也开发的相应的数字图书馆原型系统，像国外JeromeDL（数字图书馆系统，利用的就是MarcOnt）、VIVO(知识发现系统，有自己的一套语义化管理的本体)、DSpace(土耳其开发的一个数字资源仓储系统)和Fedora都是机构仓储系统，为用户提供知识服务。BRICKS是一个较新的基于语义技术建立的知识库系统。国内我们调研的有上海市图书馆，从08年上海市图书馆将引进关联数据引介到图书馆中后，一直在做关联数据在图书馆中应用的研究。 VIVO:http://www.vivoweb.org/ DSpace:http://dspace.org/ Fedora:http://www.fedora.info/
• #14: 有了这些语义网技术，我们就可以对资源进行聚合，聚合时主要注意的是这三个部分：数字资源对象、聚合的程度以及聚合的过程。对于数字资源对象，把他们分为两种：粗粒度和细粒度。粗粒度就是指将数据库中的整个资源和其他外部资源进行聚合，实现的是结构上的一种整合，例如CALIS，聚合后能够通过统一的检索平台为用户跨库检索服务。细粒度就是细化到书目资源的属性或文献中提取的概念等，能够利用本体、关联数据等对这些资源进行扩展描述。聚合的程度可以分为三个层次：结构层次（CALIS等）、信息层次（信息门户，为用户提供组织后的知识资源）和语义层次。这里我们的深度聚合就是指的语义层次上的聚合。
• #15: 这就是资源间在语义层次上进行聚合的一张图。从图中我们可以看出，三种不同的资源：图书馆资源、web上的资源、一些专门的学术交流资源，他们都有各自的资源描述方式，我们通过格式转换工具或者编程对他们的格式进行统一转换为RDF格式，这样就形成了一个大的RDF存储库，然后通过专门的RDF浏览器进行浏览或查询，有些还可以通过接口提供下载。
• #16: 明确了我们的资源聚合的程度后，我们就看一下如果在语义层次上对资源进行聚合都需要经过哪几步。首先是要先确定我们将要聚合的数字资源对象，对这些数字资源对象进行获取并处理。获取的方式一般就是直接导出或者通过一些爬虫工具爬取，处理就按照一般是数据处理方式。第二步，是对不同的资源描述格式进行格式转换，一般是利用RDF转换工具进行转换。第三步，就是要选取合适的聚合方法，有这样 三种聚合方法（映射法、相似度计算法和机器学习法）。最后，就是将关联好的数据进行发布，供更多的图书馆进行使用。
• #17: 对于资源聚合的具体实现我们也有相应的一些工具，比如表中提到的SILK、D2R、LIMES、R2R等。不同的工具当然实现聚合的方式也是不一样的。
• #18: 对于SILK，主要包括这4个部分，分别是Silk Single Machine、Silk MapReduce、Silk Server、Silk WorkBench，这里我们主要用到的是SILK WorkBench，因为它是一个可以和用户进行交互的图形化界面。运行ILK需要以下的环境配置。
• #19: 这就是Silk Workbench的界面。通过SILK我们可以通过六个步骤对资源实现聚合。首先，我们先建立一个工程；然后我们可以看到工程下包括很多选项，用户可以配置好一系列的关联规则，对不同的数据集进行关联，但是只能是已经发布的关联数据集，例如DBpedia、LinkedGeonames等。而且，它还能使用户对当前关联规则产生的结果进行评价、比较，再重新选择更好的关联规则。但是，在运行时我发现SILK在配置好关联规则，启动关联任务后有时会出现响应缓慢的情况。
• #20: D2R是一个将关系型数据库发布为关联数据的专用工具，支持主流关系型数据库如 Oracle、MySql、SQLServer、Access等，将表数据发布为关联数据。也就是说，我们可以将自己本地的数据进行关联并发布为关联数据，这也是和SILK不同的一个地方。但是，和SILK一样，它也是需要先构建映射规则然后使用映射文件对数据进行转换，构建关联数据。
• #21: LIMES和SILK的运行环境一样，而且在LIMES的网站上有它自己的DEMO，我们可以进行在线使用，界面和SILK的类似，两个数据源进行聚合时，要先进行类的匹配，然后进行属性的匹配。
• #22: 利用LIMES工具的DEMO，当我们创建一个关联任务时，就可以得到这样一个界面，通过SPARQL Endpoints获取数据源，包括源数据和目标数据，定好聚合对象后，先对他们进行类的匹配，然后进行属性匹配。但是我在使用这个DEMO时也发现当我选定两个数据对象后，在进行第二步类匹配时，可能由于数据对象的类过多加载也是很缓慢。
• #23: 图书馆资源的深度聚合最终目的是想利用现有的语义网技术为用户提供语义检索和语义推荐功能，但是在实现过程中也会遇到一些挑战，比如说聚合后的RDF格式链接只能用于下一次与外部资源进行关联，并不能直接与用户进行交互，而且当外部资源更新时，图书馆能否及时的发现并进行更新也是一个问题。总之，图书馆将来是要实现Social Semantic Digital Library，将关联后的资源再建为类似知识库的资源集合，并可以用可视化的方式进行呈现，能在为用户提供语义检索的同时推荐更多不易察觉的web资源。