spark graphx创建

来源:互联网 发布:用友进销存软件优缺点 编辑:程序博客网 时间:2024/05/20 02:53

创建graphx

1、工厂方法apply
定义在Graph中,定义如下:
def apply[VD, ED](
vertices: RDD[(VertexId, VD)],
edges: RDD[Edge[ED]],
defaultVertexAttr: VD = null)
: Graph[VD, ED]
参数为两个RDD分别是RDD[(VertexId, VD)]、RDD[Edge[ED]]

2、edgeListFile
定义如下:
def edgeListFile(
sc: SparkContext,
path: String,
canonicalOrientation: Boolean = false,
minEdgePartitions: Int = 1)
: Graph[Int, Int]
参数path是一个只包含边的文件路径,文件每行只有两个整数,分别代表边的源定点id和目标定的id
忽略带#的行
参数minEdgePartitions代表最少生成的边的分区

3、fromEdges
定义如下:
def fromEdges[VD, ED](
edges: RDD[Edge[ED]],
defaultValue: VD)
: Graph[VD, ED]
4、fromEdgeTuples
定义如下:
def fromEdgeTuples[VD](
rawEdges: RDD[(VertexId, VertexId)],
defaultValue: VD,
uniqueEdges: Option[PartitionStrategy] = None)
: Graph[VD, Int]
1 0
原创粉丝点击