Course review for ir class 本科课件
1 like236 views
该文档总结了关于web搜索引擎的课程内容，包括信息检索的基本概念、查询建模、网页排序、推荐系统等主题。此外，文档还介绍了一些关键技术如mapreduce、hdfs和lucene，以及多媒体检索和语义网的应用。最后，文档提供了课程及教师联系方式，提醒学生完成作业并祝愿考试顺利。
Course review for ir class 本科课件
- 1. §7 Web搜索引擎 课程总结与复习 (Course Review) 徐悦甡(Yueshen Xu) ysxu@xidian.edu.cn / xuyueshen@163.com 知识与数据工程研究中心 本科：Web信息搜索
- 2. 软件工程系2017/6/9 本节提纲 课程总结与复习 Web信息搜索概述 GFS + MapReduce + BigTable 全文检索 + 网页排序 多媒体检索 文本聚类 文本分类 推荐系统 语义网 知识图谱 复习、重述 重要知识点
- 4. 软件工程系2017/6/9 信息检索概述 4 信息检索 != 搜索引擎 != Web检索 一部分信息检索不需要涉及Web访问
- 6. 软件工程系2017/6/9 术语总结 Web搜索 WWW(World Wide Web)为典型代表的网络上检索、过滤和推荐信 息的的方法与技术 检索 由用户提出查询请求，系统根据此查询请求对所存储信息进行查询 并给出查询结果 过滤(聚类/分类) 系统根据预先设定的条件，对与该条件相符的信息进行提取、隔离 或封堵 推荐 系统将用户需要的重要信息从大量的一般信息中提取出来，并主动 推荐给用户 6
- 10. 软件工程系2017/6/9 分布式计算平台 MapReduce 10 split0 map sort reduce part0 merge split0 map sort split0 map sort reduce part1 merge Map Reduce
- 14. 软件工程系2017/6/9 全文检索 14 Term: 清华大学 倒排 索引 doc1 doc2 doc3 … docN Doc list A … … … … Doc list B …… 归并 候选 集 Term: 邮编 倒排 索引 倒排索引
- 17. 软件工程系2017/6/9 网页排序 17 Page A 1.490 Page C 1.577 Page B 0.783 Page D 0.15 PageRank
- 18. 软件工程系2017/6/9 网页排序 HITS算法 Hyperlink-Induced Topic Search 对每一个页面应该将其内容权威度（Authority)和链接权威度 （Hub）分开考虑，在对网页内容权威度做出评价的基础上 再对页面链接权威度进行评价，然后给出该页面的综合评价 链接权威度（Hub） ➢ 页面上所有导出链接指向页面的内容权威值之和。 内容权威度（authority） ➢ 所有导入链接所在页面的链接权威度之和 18
- 19. 软件工程系2017/6/9 网页排序 HITS算法 对于一个给定的查询，每个页面都被赋予了一个特定的链接 权威度（hub）和内容权威度（authority） 结果就是高权威度的页面 基本假设 ➢ 1. 一个好的“Authority”页面会被很多好的“Hub”页面指向； ➢ 2. 一个好的“Hub”页面会指向很多好的“Authority”页面 19
- 20. 软件工程系2017/6/9 多媒体检索 基于文本的图像检索 Text-based Image Retrieval 基于标签的图像检索 Tag-based Image Retrieval 基于内容的图像检索 Content-based Image Retrieval 20
- 21. 软件工程系2017/6/9 文本聚类、文本分类与推荐 21 机器学习 （数据有无 label） 有监督学习 分类（离散）；回归（连续）等 半监督学习 部分数据有label 无监督学习 聚类、话题建模等 iijjij idftfDdtidftf ),,( ) |}:{|1 log( dtDd N idf i i TF-IDF
- 22. 软件工程系2017/6/9 文本聚类 22 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K=2；任意选择 K个对象作为初 始聚类中心 将每个 对象赋 给最相 似的中 心 更新簇 的平均 值 更新簇 的平均 值 重新划分 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 重新划分 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K-Means
- 26. 软件工程系2017/6/9 推荐系统 26 推荐系统 推荐系统中包含的要素 核心三个 人/用户 物/商品 反馈/评价 关联 内容 上下文/情境：时间，地点，情绪等 非核心三个
- 28. 软件工程系2017/6/9 推荐系统 基于内容的推荐方法 用户内容 物品内容 基于标签的推荐方法 标签来源 基于图的推荐方法 基于网络的推荐方法 网络的类型 基于图的推荐方法 28
- 30. 软件工程系2017/6/9 语义网 语义网（Semantic Web） 语义网提出的背景 语义网概念与体系结构 XML与RDF格式 ➢ 标记语言 ➢ 可扩展标记语言（XML） 本体 语义网应用 30