大数据(十四)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】
来源:互联网 发布:java中的命令模式 编辑:程序博客网 时间:2024/06/06 00:43
一、什么是PageRankPageRPageRankankPageRank
–PageRank是Google专有的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。
–是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的
–PageRank实现了将链接价值概念作为排名因素。
二、原理
二、原理
–入链 ====投票
•PageRank让链接来“投票“,到一个页面的超链接相当于对该页投一票。
–入链数量
•如果一个页面节点接收到的其他网页指向的入链数量越多,那么这个页面越重要。
–入链质量
•指向页面A的入链质量不同,质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A,则页面A越重要。
三、举例说明
如下图所示,A、B、C、D分别代表四个网页。A指向B代表A网页中有一个指向B网页的超链接。
四、算法三、举例说明
如下图所示,A、B、C、D分别代表四个网页。A指向B代表A网页中有一个指向B网页的超链接。
–初始值
•每个页面设置相同的PR值
•Google的pagerank算法给每个页面的PR初始值为1。
–迭代递归计算(收敛)
•Google不断的重复计算每个页面的PageRank。那么经过不断的重复计算,这些页面的PR值会趋向于稳定,也就是收敛的状态。
•在具体企业应用中怎么样确定收敛标准?
–1、每个页面的PR值和上一次计算的PR相等
–2、设定一个差值指标(0.0001)。当所有页面和上一次计算的PR差值平均小于该标准时,则收敛。
–3、设定一个百分比(99%),当99%的页面和上一次计算的PR相等
–修正PageRank计算公式
•由于存在一些出链为0,也就是那些不链接任何其他网页的网,也称为孤立网页,使得很多网页能被访问到。因此需要对PageRank公式进行修正,即在简单公式的基础上增加了阻尼系数(damping factor)q,q一般取值q=0.85。
–完整PageRank计算公式
阅读全文
0 0
- 大数据(十四)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】
- 大数据 (十五)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----编程】
- 大数据 (十六)Hadoop-MR编程 -- 【使用hadoop计算微博用户可能喜欢的关键词----编程】
- 大数据(十三)Hadoop-MR编程 -- 【模拟qq推荐你可能认识的人】
- hadoop大数据与hadoop云计算
- 大数据中:Hadoop云计算以及Nosql与BI商业智能之间的关系
- 大数据中:Hadoop云计算以及Nosql与BI商业智能之间的关系
- 大数据中:Hadoop云计算以及Nosql与BI商业智能之间的关系
- Hadoop基本知识,(以及MR编程原理)
- Hadoop MR &MRv2(YARN)编程模型
- Hadoop上编写mr计算
- 大讲台浅谈大数据与Hadoop之间的关系
- 大数据 hadoop hdfs mr及生态精讲
- hadoop MR的过程
- Hadoop(三) 大数据离线计算与实时计算
- 大数据 (十一)Hadoop-MR执行环境之---总述+本地测试环境讲解
- 大数据 (十二)Hadoop-MR执行环境之---定义多个resuce task
- Hadoop学习日志之大数据概念
- 命运 HDU
- JAVA学习笔记之(三)流程控制
- 字符编码格式总结 (参考手册)
- mysql-sql语句中变量的使用
- 剑指offer:数组中的逆序对
- 大数据(十四)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】
- lua与c++的class绑定
- 九度1042:Coincidence
- redis3.0.0 集群安装详细步骤
- 项目开发流程
- python装饰器详解
- 利用Ret2Libc挑战DEP之二——利用VirtualProtect
- CentOS6.5安装Xen
- 三(1)、JSP九大内置对象——out