spark RDD算子(一) parallelize,makeRDD,textFile
来源:互联网 发布:一键海淘 知乎 编辑:程序博客网 时间:2024/05/27 14:11
作者: 翟开顺
首发:CSDN
parallelize
调用SparkContext 的 parallelize(),将一个存在的集合,变成一个RDD,这种方式试用于学习spark和做一些spark的测试
scala版本
def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]
- 第一个参数一是一个 Seq集合
- 第二个参数是分区数
- 返回的是RDD[T]
scala> sc.parallelize(List("shenzhen", "is a beautiful city"))res1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[1] at parallelize at <console>:22
java版本
def parallelize[T](list : java.util.List[T], numSlices : scala.Int) : org.apache.spark.api.java.JavaRDD[T] = { /* compiled code */ }
- 第一个参数是一个List集合
- 第二个参数是一个分区,可以默认
- 返回的是一个JavaRDD[T]
java版本只能接收List的集合
JavaRDD<String> javaStringRDD = sc.parallelize(Arrays.asList("shenzhen", "is a beautiful city"));
makeRDD
只有scala版本的才有makeRDD
def makeRDD[T](seq : scala.Seq[T], numSlices : scala.Int = { /* compiled code */ })
跟parallelize类似
sc.makeRDD(List("shenzhen", "is a beautiful city"))
textFile
调用SparkContext.textFile()方法,从外部存储中读取数据来创建 RDD
例如在我本地F:\dataexample\wordcount\input下有个sample.txt文件,文件随便写了点内容,我需要将里面的内容读取出来创建RDD
scala版本
var lines = sc.textFile("F:\\dataexample\\wordcount\\input")
java版本
JavaRDD<String> lines = sc.textFile("F:\\dataexample\\wordcount\\input");
注: textFile支持分区,支持模式匹配,例如把F:\dataexample\wordcount\目录下inp开头的给转换成RDD
var lines = sc.textFile("F:\\dataexample\\wordcount\\inp*")
多个路径可以使用逗号分隔,例如
var lines = sc.textFile("dir1,dir2",3)
- spark RDD算子(一) parallelize,makeRDD,textFile
- Spark算子[05]:parallelize,makeRDD,textFile
- Spark中parallelize函数和makeRDD函数的区别
- Spark中parallelize函数和makeRDD函数的区别
- Spark中parallelize函数和makeRDD函数的区别
- spark使用parallelize方法创建RDD
- spark--使用parallelize方法创建RDD
- spark RDD操作算子详解(汇总)
- spark RDD算子学习(基本命令)
- spark rdd 算子
- spark中的RDD算子
- Spark RDD算子介绍
- Spark RDD算子介绍
- Spark RDD算子介绍
- Spark RDD算子介绍
- Spark RDD排序算子
- Spark RDD 常用算子
- Spark RDD算子【四】
- tensorflow的基本用法(七)——使用MNIST训练神经网络
- 自定义test之java对象属性拷贝简单实现
- Scheme 语言概要(上)
- day01-04
- ApplicationContext——FileSystemXmlApplication(二)
- spark RDD算子(一) parallelize,makeRDD,textFile
- day05-08
- BNUOJ 52297 Coins——打表
- day09-10
- system design primer
- Scheme 语言概要(下)
- day11
- js代码
- day12