hadoop scala 读取文件

第一步 下载IDEA 安装 scala 插件

第二步 新建Scala 项目 TFinn

           导入 spark-assemble-hadoop.jar 文件（具体可百度 下载）

          我下载的是 spark-assembly-1.3.1-hd-2.6.0.jar  因为我使用的hadoop2.7.3 (吃过亏，嘿嘿) 本来以为版本不一致会出差错，试过可以的。

第三步 编写代码

package main.scalaimport org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.SparkContext._/**  * Created by wen on 2017/3/6.  */object ReadFile {  def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("Join").setMaster("spark://xxx:7077")    var sc =  new SparkContext(conf)    var textFile = sc.textFile("hdfs://master:9000/input/text1.txt")    println("==========================")    println("====count:====",textFile.count())    println(textFile.collect())    println("==========================")    sc.stop()  }}

第四步 导出 jar 文件

      上传到 spark 目录下面

去掉没必要的jar

 执行 ./bin/spark-submit --class main.scala.ReadFile TFinn.jar