基于HDFS的实时计算和wordcount程序

基于HDFS文件的实时计算，其实就是，监控一个HDFS目录，只要其中有新文件出现，就实时处理。相当于处理实时的文件流。

streamingContext.fileStream<KeyClass, ValueClass, InputFormatClass>(dataDirectory)

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)

Spark Streaming会监视指定的HDFS目录，并且处理出现在目录中的文件。要注意的是，所有放入HDFS目录中的文件，都必须有相同的格式；必须使用移动或者重命名的方式，将文件移入目录；一旦处理之后，文件的内容即使改变，也不会再处理了；基于HDFS文件的数据源是没有Receiver的，因此不会占用一个cpu core。

案例：监控hdfs上/testdata/hadoop目录下当有新文件上传就会统计出结果

object HDFSWordCountDemo {  def main(args: Array[String]): Unit = {    Logger.getLogger("org").setLevel(Level.WARN)    //local[2]这里必须是2个或2个以上的线程，一个负责接收数据，一个负责将接收的数据下发到worker上执行    val config = new SparkConf().setAppName("HDFSWordCountDemo")//.setMaster("local[2]")//打包上传到集群上运行,在Windows上测试没收到信息    val sc = new SparkContext(config)    //Seconds两秒产生一个RDD    val ssc = new StreamingContext(sc, Seconds(2))    val fileDstream = ssc.textFileStream("hdfs://hadoop01:8020/testdata/hadoop")    fileDstream.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).print()    ssc.start()    ssc.awaitTermination()  }}//shell脚本代码/home/kitty/opt/spark/bin/spark-submit \--class day18.HDFSWordCountDemo \--master spark://hadoop01:7077 \--driver-memory 512M \--executor-memory 512M \--total-executor-cores 2 \/home/kitty/mytmp/scala-1.0-SNAPSHOT.jar