Silf2012lw3
5 likes2,802 views
大数据正在迅速改变我们的社会，成为新的经济原材料，影响图书馆的作用与服务。文档探讨了大数据的概念、来源、重要性及其对数字图书馆和图书馆员角色的影响，并提供了相关案例研究。图书馆在大数据时代面临新的需求与挑战，需适应数据的保存、管理及提供服务。
![政府信息公开 Linking GDP of the US and China
Open-Gov Tetherless World Constellation
GDP of the US (Billion Dollar)
This mashup was built in less than 4 hours –
including conversion of data, web interface, and
visualization!
GDP of China (Billion Chinese Yuan )
[Temporal Mashup] bea.gov + federalreserve.gov +stats.gov.cn
From Jim Hendler
12年7月18日星期三 25](https://image.slidesharecdn.com/silf2012lw3-120716183100-phpapp02/85/Silf2012lw3-25-320.jpg)
Silf2012lw3
- 1. 大数据时代的图书馆 big data: From the Library of Books to the Library of Data 上海图书馆 刘 炜 kevenlw @ gmail.com 12年7月18日星期三 1
- 2. There were 5 exabytes of information created between the dawn of civilization through 2003, but that much information is now created every 2 days, and the pace is increasing. 从开天辟地至2003年，人类大约总共生产了5 exabytes的信息。现在我们每两天就制造这么多信 息。 ----Eric Schmidt, Former Google CEO, Techonomy Conference, August 4, 2010 12年7月18日星期三 2
- 3. Data is becoming the new raw material of business: an economic input almost on a par with capital and labour. “Every day I wake up and ask, ‘how can I flow data better, manage data better, analyse data better?” 数据正在成为一种新的原材料，与资本和劳动力几 乎同等重要。每天清晨我一醒来就会问自己：我能 如何使数据运行得更顺畅、管理得更有效、分析得 更透彻？ －－Rollin Ford, the CIO of Wal-Mart. Source: Data, Data Everywhere, The Economist, February 25, 2010 12年7月18日星期三 3
- 4. 大纲 Outline 大数据概念 What is Big Data？ 大数据的缘起 Where it comes from？ 大数据为什么重要 Why Big Data？ 大数据实例 Two Case Studies 大数据与数字图书馆 Big Data and Digital Librarianship 大数据时代图书馆员的角色 Library role to Tame the Big Data 12年7月18日星期三 4
- 5. 什么是大数据 What is BD？ 数量庞大 Volume 当每个人都拥有不止⼀一台电脑，每 个手机都是⼀一台传感器；当摄像头 无所不在，每件东西都有⼀一个RFID 变化迅速 Velocity 标签；当每个人的每个活动、甚至 每个心情都记载于社会性网络，而 互联网把所有这⼀一切都连结在⼀一起 类型众多 Variety 的时候，每时每刻产生的信息可能 是⼀一个巨大的矿藏。它不仅勾画出 现实世界正在发生的图景，而且蕴 价值巨大 Value 藏着惊人的秘密。这是在过去的岁 月中采取任何方式都无法获知的。 From IBM 12年7月18日星期三 5
- 7. 大数据来自何处 Where BD comes from？ Source: Mike Driscoll, CTO Metamarkets: The Three Sexy Skills of Data Scientists (& Data Driven Startups) Source:(Mike(Driscoll,(CTO(Metamarkets:(The(Three(Sexy(Skills(of(Data(Scien;sts((&(Data(Driven(Startups)( 12年7月18日星期三 7
- 8. 大数据有多大？ Source：http://siliconangle.com/blog/2011/11/22/are-you-ready-for-the-big-data-deluge- infographic/ctlinfographic/ 12年7月18日星期三 8
- 9. 大数据有多大？ Source：http://siliconangle.com/blog/2011/11/22/are-you-ready-for-the-big-data-deluge- infographic/ctlinfographic/ 12年7月18日星期三 9
- 10. Yottabyte Zettabyte Exabyte Petabyte 兆、京（吉）、太、拍、艾、泽、尧字节 12年7月18日星期三 10
- 11. 大数据来自何处 Where BD comes from？ 科学计算 The large data collections of “big science” projects 网络应用 The data holdings of a Google, Facebook or other large Web company (Taobao, Twitter) 企业数据 The enterprise data of large, non- Web-based companies (IBM, TATA, etc.) From Jim Hendler 12年7月18日星期三 11
- 12. 清醒认识大数据 Why BD？ 多大才大 How BIG is big? 大意味着什么 What BIG means? 为什么要大数据 Why BIG so attractive? 谁来驯服大数据 Who deal with BIG Data? 12年7月18日星期三 12
- 13. 大数据特点 New Characteristics 结构化程度不高 NoSQL, weak structural 向第三方应用开放 Third party application and extension (open for mashup) 向语义化方向发展 Semantics (e.g.. schema.org, RDF) From Jim Hendler 12年7月18日星期三 13
- 14. 大数据是一项颠覆性技术，继信息高速公路、数 字图书馆、赛百基础设施之后的新热点，一脉相 承。Tame the Web到Tame the Big Data 大数据研究有助于释放复杂数据中的智能。 大数据的价值并不在于能帮我们做出神奇的事 情，而是成为我们日常社会生活的基础设施。 对于图书馆而言，大数据是Data Preservation和 Data Curation的自然延伸 12年7月18日星期三 14
- 15. 对大数据的需求 New Requirements 全网搜索 (Web-scale) data search 众包建模 “Crowd-sourced” modeling 快速虚拟整合 Rapid (and potentially ad hoc) integration of datasets 可视化及局域建模分析Visualization and analysis of only-partially modeled datasets 数据开放、复用及联结政策，Policies for data use, reuse and combination. From Jim Hendler 12年7月18日星期三 15
- 16. 大数据解决方案示意 Source：http://jameskaskade.com/wp-content/uploads/2011/11/BigDataPaaS5.png 12年7月18日星期三 16
- 17. 举例：两个领域 Two Case Studies 数据驱动型研究（数据密集型科 学）Data Driven Research (Data Intensive Science) 开放政府（信息公开服务）Open Government (Information Services) 12年7月18日星期三 17
- 18. 数据驱动型研究 Data Driven Research 假设驱动型研究 逐渐涌现： 数据驱动 模拟 预测驱动 自动试验 虚拟团队研究 等等新型研究模式 From: Carole Goble “the Future of Research” 12年7月18日星期三 18
- 19. 科学研究的第四范式 The Fourth Paradigm 1.上千年前：经验描述 2.数百年前：理论总结 3.几十年前：现象模拟 4.当前：eScience，融 合经验总结、理论与 模拟；数据由仪器采 集或模拟得到；经云 端或众包处理；由数 据科学家和计算机专 家参与管理并可视 化，最终交科学家分 析总结。 12年7月18日星期三 19
- 20. 科学的摸样 The Map of Science From：Carlos Morais Pires，Scientific Data Infrastructure: activities in the Capacities Programme of FP7 12年7月18日星期三 20
- 21. 政府信息公开 Government Data Sharing: “Year 1” Open-Gov Tetherless World Constellation data.gov online Open Government data.gov relaunch January 1, 2009 December 8, 2009 Openness will strengthen May 21, 2010 May 21, 2009 our democracy and promote Directive released with semantic web 57 Data Sets ~2000 Data Sets featured efficiency and effectiveness in Government. >305,000 Data Sets --- President Obama 2009 2010 … January 19, 2010 June30,2009 Putting Govt Data ~6000 Data Set online- Data.gov.uk beta data.gov.uk online From Jim Hendler 12年7月18日星期三 21
- 22. 政府信息公开 Government Data Sharing: Year 2 Open-Gov Tetherless World Constellation From Jim Hendler 12年7月18日星期三 22
- 23. 政府信息公开 Government Data in the linked open data cloud Open-Gov Tetherless World Constellation Government Data is currently over ½ the cloud in size (~17B triples), 10s of thousands of links to other data (within and without) http://linkeddata.org/ From Jim Hendler 12年7月18日星期三 23
- 24. 政府信息公开 Open-Gov Tetherless World Constellation From Jim Hendler 12年7月18日星期三 24
- 25. 政府信息公开 Linking GDP of the US and China Open-Gov Tetherless World Constellation GDP of the US (Billion Dollar) This mashup was built in less than 4 hours – including conversion of data, web interface, and visualization! GDP of China (Billion Chinese Yuan ) [Temporal Mashup] bea.gov + federalreserve.gov +stats.gov.cn From Jim Hendler 12年7月18日星期三 25
- 26. 大数据与图书馆 Big Data enabled Library Source：http://blogs.loc.gov/loc/2009/02/how-big-is-the-library-of-congress/ 12年7月18日星期三 26
- 27. 大数据与图书馆 Big Data enabled Library Source：http://radar.oreilly.com/2012/04/harvard-book-data-cloudera-hadoop-splunk-ipo.html 12年7月18日星期三 27
- 28. 大数据与图书馆 Big Data enabled Library Source：http://www.libraries.wright.edu/noshelfrequired/2012/04/11/overdrive-announces-a- series-of-big-data-reports/ 12年7月18日星期三 28
- 29. 大数据对图书馆为什么重要？ Why Library’s matter? 数据保存 Data Preservation 数据看护 Data Curation 大数据公共服务 Public Big Data Services 大数据是图书馆信息服务和资源发现必须面 临的问题，是图书馆资源发现克服目前技术 和模式的局限性，获得突破创新的关键。 12年7月18日星期三 29
- 30. 目前的图书馆“大数据”服务 Current Library BD Services 数字图书馆 Digital Library 机构库 Institutional Repository 资源到所，服务到人，嵌入一线，融入过程。 Ubiquitous Services 决策咨询服务 Think Tank Consultancy 12年7月18日星期三 30
- 31. 图书馆的大数据业务 Library Powered BD Services Search/Discover) Serendipitous)Finding) Integrated)search) Collabora&ve)Searching) Automa&c)paper)download) Con&nual)queries) Structural)Search) Paper)recommenda&on) Keeping)Current) Alert) ) Gather) Collec&ng) Project))and)Personal)) Internal)search) Manage) Refereed)and)Grey)literature) Organizing) ) Create) Annota&ng) Tag,)annotate,)rate)) Review)&)Rate) Templates) Describe) Mul&Lauthor)authoring) Write) Share) Bibliography)management) Publish) Version)management) Sharing) Copyright)tools)(CC)and)SC)) Rights) Linking)up)data,)models)and)other) components) From: Carole Goble “the Future of Research” 12年7月18日星期三 31
- 32. 图书馆的大数据业务 Library Powered BD Services Search/Discover) Serendipitous)Finding) Integrated)search) Collabora&ve)Searching) Automa&c)paper)download) Con&nual)queries) Structural)Search) Paper)recommenda&on) Keeping)Current) Alert) ) Gather) Collec&ng) Project))and)Personal)) Internal)search) Manage) Refereed)and)Grey)literature) Organizing) ) Create) Annota&ng) Tag,)annotate,)rate)) Review)&)Rate) Templates) Describe) Mul&Lauthor)authoring) Write) Share) Bibliography)management) Publish) Version)management) Sharing) Copyright)tools)(CC)and)SC)) Rights) Linking)up)data,)models)and)other) components) 最重要的：数据的有序组织和规范控制 From: Carole Goble “the Future of Research” 12年7月18日星期三 31
- 33. 大数据时代图书馆员角色 BD Librarian 可信的看护者 格式监管 Trusted curator Format authority 可信的管理员 内容增值Add value Trusted data manager content provider 质量审核 元数据/词表提供 Quality arbiter Metadata / controlled vocabulary provider 知识播种机 Knowledge 服务增值Add value disseminator service provider From: Carole Goble “the Future of Research” 12年7月18日星期三 32
- 34. 新岗位，新称号 New Position with New Requirements From: Dr Liz Lyon “The Informatics Transform: Re-engineering Libraries for the Data Decade” 12年7月18日星期三 33
- 35. 新岗位，新称号 New Position with New Requirements From: Dr Liz Lyon “The Informatics Transform: Re-engineering Libraries for the Data Decade” 12年7月18日星期三 34
- 36. 可视化：Twitter数据流 Source: http://www.flickr.com/photos/walkingsf/6635655755/in/photostream/ 12年7月18日星期三 35
- 37. DEMO 演示：大数据可视化 12年7月18日星期三 36
- 38. 12年7月18日星期三 37
- 39. 大数据时代的图书馆 big data: From the Library of Books to the Library of Data 上海图书馆 刘 炜 kevenlw @ gmail.com 12年7月18日星期三 38