Spark Streaming 入门教程

工具  intelliJ  IDE工具，和 spark 包，还有 linun服务器

首先  intelliJ  IDE 新建一个项目导入 spark的jar包

使用的是 spark-1.4.0-bin-hadoop2.4.tgz 解压后得到spark-1.4.0-bin-hadoop2\spark-1.4.0-bin-hadoop2.4\lib 文件

然后将 lib下的文件全部导入到项目中去

导入jar包以后

项目输入代码

import org.apache.spark._import org.apache.spark.streaming._object SparkSteamingContext {  def main(args: Array[String]) {    //构建streamingContext    val conf=new SparkConf().setAppName("SteamingWordCount").setMaster("local[2]")    val sc=new SparkContext(conf)    val ssc=new StreamingContext(sc,Seconds(5))    //接受的数据地址    val ds=ssc.socketTextStream("192.168.80.105",8888)    //RDD运算    val result=ds.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)    //打印结果    result.print()    ssc.start()    ssc.awaitTermination()  }}

启动该项目以后，就对制定IP地址和端口进行数据输入了，在linux端启动   

 

然后输入 字符，在项目总就可以看到 之前定义的 逻辑处理了

至此，一个简单的 spark steaming 本地案例就已经完成了，非常简单，至于深入的后面在做笔记