RDD创建

1、并行化处理数组

val data = Array(1, 2,3, 4, 5, 6, 7, 8, 9)val distData = sc.parallelize(data, 3)     //3为要开启的线程数

val data=Array(Tuple2("xiaoming",20),Tuple2("xiaoli",23))val distData = sc.parallelize(data, 3)     //3为要开启的线程数

2、外部数据源创建

val distFile2 =sc.textFile("hdfs://192.168.0.2:9000/input/data.txt") //HDFS文件

val distFile3 =sc.textFile("file:/input/data.txt") //本地指定目录下文件

textFile("file:/input/001.txt,file:/input/002.txt ") //读取多个文件创建一个RDD

textFile("file:/input") //读取目录

textFile("file:/input /*.txt") //读取input下所有TXT文件