Spark Streaming实例

         import org.apache.spark.SparkConf         import org.apache.spark.storage.StorageLevel         import org.apache.spark.streaming.{Seconds, StreamingContext}         val conf = new SparkConf()        //创建了一个具有两个执行线程以及1秒批间隔时间(即以秒为单位分割数据流)的本地StreamingContext        val ssc = new StreamingContext(conf, Seconds(1))        //创建一个DStream，它表示从TCP源（主机位localhost，端口为9999）获取的流式数据。        // lines 变量是一个DStream，表示即将从数据服务器获得的流数据        val lines = ssc.socketTextStream("localhost", 9999)        //DStream的每条记录都代表一行文本.将DStream中的每行文本都切分为单词        //flatMap 是一个一对多的DStream操作，它通过把源DStream的每条记录都生成多条新记录来创建一个新的DStream        val words = lines.flatMap(_.split(" "))        val pairs = words.map(word => (word, 1))        val wordCounts = pairs.reduceByKey(_ + _)        wordCounts.print()        //执行计算        ssc.start()         ssc.awaitTermination()