Spark 读取HDFS文件

来源:互联网 发布:2016网络音乐 编辑:程序博客网 时间:2024/05/04 01:36

环境:CentOS 6.3 SPARK 1.0.0

 

1. 读取text文件

scala> val distFile = sc.textFile("hdfs://localhost:54310/data/in/log")res1: Long = 2

 

0 0
原创粉丝点击