spark graphx创建
来源:互联网 发布:用友进销存软件优缺点 编辑:程序博客网 时间:2024/05/20 02:53
创建graphx
1、工厂方法apply
定义在Graph中,定义如下:
def apply[VD, ED](
vertices: RDD[(VertexId, VD)],
edges: RDD[Edge[ED]],
defaultVertexAttr: VD = null)
: Graph[VD, ED]
vertices: RDD[(VertexId, VD)],
edges: RDD[Edge[ED]],
defaultVertexAttr: VD = null)
: Graph[VD, ED]
参数为两个RDD分别是RDD[(VertexId, VD)]、RDD[Edge[ED]]
2、edgeListFile
定义如下:
def edgeListFile(
sc: SparkContext,
path: String,
canonicalOrientation: Boolean = false,
minEdgePartitions: Int = 1)
: Graph[Int, Int]
sc: SparkContext,
path: String,
canonicalOrientation: Boolean = false,
minEdgePartitions: Int = 1)
: Graph[Int, Int]
参数path是一个只包含边的文件路径,文件每行只有两个整数,分别代表边的源定点id和目标定的id
忽略带#的行
参数minEdgePartitions代表最少生成的边的分区
3、fromEdges
定义如下:
def fromEdges[VD, ED](
edges: RDD[Edge[ED]],
defaultValue: VD)
: Graph[VD, ED]
edges: RDD[Edge[ED]],
defaultValue: VD)
: Graph[VD, ED]
4、fromEdgeTuples
定义如下:
def fromEdgeTuples[VD](
rawEdges: RDD[(VertexId, VertexId)],
defaultValue: VD,
uniqueEdges: Option[PartitionStrategy] = None)
: Graph[VD, Int]
rawEdges: RDD[(VertexId, VertexId)],
defaultValue: VD,
uniqueEdges: Option[PartitionStrategy] = None)
: Graph[VD, Int]
1 0
- spark graphx创建
- Spark GraphX
- spark graphx
- Spark GraphX
- Spark Graphx
- Spark GraphX
- Spark中的GraphX
- Spark GraphX相关使用方法
- Spark GraphX(一)
- spark graphx文章整理
- Spark GraphX原理介绍
- spark-graphx之pagerank
- spark-graphx pagerank
- Spark GraphX学习笔记
- Spark GraphX新手入门
- Spark GraphX实现PageRank
- 谈谈Spark GraphX吧!
- spark构建图graphx
- HTML5—浏览器支持问题
- 【MYSQL】数据类型强制转换导致数据超预期
- linux下安装配置DBI,perl连接mysql
- sublime text 3 插件:IMESupport(不支持中文的鼠标跟随)
- 运行ant脚本提示,错误: 找不到符号的 解决办法
- spark graphx创建
- 关于定义域有界性的三种判断
- learn python the hard way 43 注释转载
- x86 架构下安装oracle RAC 要注意到点
- git SourceTree 客户端 安装/使用教程
- 关系表达式与条件表达式
- 机器学习——Logistic回归
- js ==与===区别
- openl FBO使用经验