spark-rdd 实现简易pagerank
来源:互联网 发布:网络加速器推荐 编辑:程序博客网 时间:2024/05/17 19:17
突然有一天老大告诉我说,咱们搞一下pagerank吧,我当时就感觉很无力,然后开始查看相关的论文和资料,前面博客有相关介绍。然后开始查看graphx部分的源码,还有包括现在已经废弃不用的bagel的实现,结合上面的几种实现,用rdd实现简易pagerank。代码如下:
val rdd = sc.textFile(“hdfs://master:9000/pagerank”).map( line =>{
val pair = line.split(“\t”)
(pair(0).toLong,pair(1).toLong)
}).repartition(48)
val zero = scala.collection.mutable.ArrayBuffer.empty[Long]
val links = rdd.map( x =>(x._1,x._2)).aggregateByKey(zero)( (x,y)=> x.+=( y ),( x1,x2 )=>x1.++=( x2 ) )
var ranks = links.mapValues( x => 1.0 )
for( i <- 0 until 10 ){
val tmp = links.join( ranks ).flatMap{ case(id,(link,rank)) =>link.map(dest =>(dest,rank/link.size)) }
ranks = tmp.reduceByKey(_ + _ ).mapValues( x => 0.15 + 0.85*x )
}
经过测试。
实现能简单的进行计算。后期如果有更好的实现会继续更新。
- spark-rdd 实现简易pagerank
- Spark GraphX实现PageRank
- spark实现PageRank
- Spark下的PageRank实现
- spark实现简单的pagerank
- 【Spark】RDD机制实现模型
- PageRank算法原理剖析及Spark实现
- Spark PageRank
- Spark PageRank
- Spark PageRank
- Spark PageRank
- spark--PageRank
- Spark pagerank
- Spark的RDD检查点实现分析
- 使用Spark RDD实现HBase分布式scan
- Spark入门3-RDD的实现
- 【spark RDD】RDD编程
- Spark/RDD
- 单例模式
- UFLDL run_train.m
- scala学习笔记10 文件和正则表达式
- HDU-2059-龟兔赛跑【经典DP】
- LCD12864绘图操作
- spark-rdd 实现简易pagerank
- <hdoj1176>免费馅饼
- 一个神奇的网站,几分钟学会某编程语言
- c++头字母大写
- 龟兔赛跑
- Unity入门系列||在Unity中添加第一人称视角
- url编码
- 简述src与href的区别
- QQ登陆绑定代码