Spark学习笔记 --- spark RDD加载文件

来源:互联网 发布:成人学汉语拼音软件 编辑:程序博客网 时间:2024/05/13 20:09

对于Spark RDD加载的文件,可以分为几类:


首先加载本地文件,加载方式:


val localFileRDD = sc.textFile("file://usr/wordcount.txt")



其次加载hdfs文件,加载方式:


val textHDFSFile = sc.textFile("/user/README.md")


或者:


val textHDFSFile1 = sc.textFile("hdfs://user/README.md")



0 0
原创粉丝点击