spark-graphx pagerank
来源:互联网 发布:windows u盘安装 编辑:程序博客网 时间:2024/06/04 23:22
在工作中,在图进行初始化的时候,需要根据边的权重去计算每个点再迭代过程中获得到的能量值。
下面呈现出简单实现:
val rdd = sc.textFile("hdfs://master:9000/graph").map( line =>{
val pair = line.split("\\s+")
(pair(0).toLong,(pair(1).toLong,pair(2).toDouble))
}).partitionBy( new HashPartitioner( 100 )).persist( StorageLevel.MEMORY_ONLY_SER )
val edges = rdd.flatMap{ case(x,y)=> Seq(Edge(x,y._1,y._2))}
val graph = Graph.fromEdges(edges,1L).cache()
val edgeInital = graph.aggregateMessages[Double]( ctx => ctx.sendToSrc( ctx.attr),_+_,TripletFields.EdgeOnly )
var rankGraph: Graph[Double, Double] = graph.outerJoinVertices(edgeInital) {
(vid, vdata, deg) => deg.getOrElse( 0.0 ) }
.mapTriplets( e => 1.0 / e.srcAttr * e.attr, TripletFields.Src )
.mapVertices { (id, attr) => 1.0
}
var iteration = 0
val resetProb = 0.15
var prevRankGraph: Graph[Double, Double] = null
while (iteration < 10) {
rankGraph.cache()
val ranks = rankGraph.aggregateMessages[Double](
ctx => ctx.sendToDst( ctx.srcAttr * ctx.attr ), _ + _, TripletFields.Src)
prevRankGraph = rankGraph
rankGraph = rankGraph.joinVertices(ranks) {
(id, oldRank, msgSum) => resetProb + (1.0 - resetProb) * msgSum
}.cache()
prevRankGraph.vertices.unpersist(false)
prevRankGraph.edges.unpersist(false)
iteration += 1
}
“`还有许多地方待优化,希望有大神指出。
- spark-graphx之pagerank
- spark-graphx pagerank
- Spark GraphX实现PageRank
- GraphX PageRank
- Spark组件之GraphX学习11--PageRank例子(PageRankAboutBerkeleyWiki)
- Spark GraphX
- spark graphx
- Spark GraphX
- Spark Graphx
- Spark GraphX
- Spark组件之GraphX学习10--PageRank学习和使用(From examples)
- Graphx入门之简单pagerank
- Spark PageRank
- Spark PageRank
- Spark PageRank
- Spark PageRank
- spark--PageRank
- Spark pagerank
- GC Root
- [Unity3D]在UWP工程中使用的序列化方法
- OC的不可变数组以及可变数组
- php socket编程
- C++ const 指针
- spark-graphx pagerank
- 最大流小结
- PHP-函数回调的四种形式(笔记)
- 计算机网络之面试常考
- 计算机网络之面试常考
- JAVA的集合类(二)
- C语言之矩阵输入6*8的矩阵,求矩阵中值最大的那个元素的值已经其所在的行号和列号
- Linux下训练和测试自己的图片
- Arrays常用的方法(一部分)