spark streaming的有状态例子
来源:互联网 发布:cnc编程培训黄江 编辑:程序博客网 时间:2024/05/14 01:25
import org.apache.spark._import org.apache.spark.streaming._/** * Created by code-pc on 16/3/14. */object Pi { def updateStateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = { Some(runningCount.getOrElse(0) + newValues.sum) } def main(args: Array[String]) { val conf = new SparkConf().setMaster("local[5]").setAppName("AndrzejApp") val ssc = new StreamingContext(conf, Seconds(4)) ssc.checkpoint("/tmp") val line = ssc.socketTextStream("127.0.0.1", 9997) val words=line.flatMap(_.split(" ")) val pairs=words.map((_,1)) pairs.print() val retDS = pairs.updateStateByKey(updateStateFunction _) retDS.print() ssc.start() ssc.awaitTermination() }}
tcp:
nc -lk 9997
0 0
- spark streaming的有状态例子
- spark Streaming编写一个WorldCount的例子
- spark streaming例子
- Spark-Streaming入门例子
- kafka+spark streaming例子入门
- spark学习:2.streaming例子
- spark streaming实现状态可恢复的wordcount计算程序
- Spark Streaming checkpoint 实现状态的恢复实现
- Spark Streaming基于状态、窗口的实时数据流
- Spark-Spark Streaming例子整理(一)
- Spark-Spark Streaming例子整理(二)
- Spark-Spark Streaming例子整理(三)
- Spark-Spark Streaming例子整理(一)
- Spark-Spark Streaming例子整理(二)
- Spark-Spark Streaming例子整理(三)
- Spark-Spark Streaming例子整理(一)
- Spark Streaming的WindowedDStream
- Spark Streaming快速状态流处理
- poj 1502 MPI Maelstrom
- 写在结婚纪念日
- 为Web开发者准备的10个最新工具
- java中间缓存变量机制
- js判断浏览器是否有滚动条
- spark streaming的有状态例子
- VMware配置静态IP
- Lintcode 39. 恢复旋转排序数组
- 理解StackOverflowError与OutOfMemoryError
- 数据结构(6)线性表之链表C++实现交集
- Mybatid关联表查询
- Android常见的问题
- c++中的substr
- Linux学习6之shell筛选当前目录下文件并逐个对其进行操作