第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密
/* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/

1 updateStateByKey解密
2 mapWithState 解密

Spark Streaming 状态管理：updateStateByKey 、mapWithState 两个典型方法

Spark Streaming 按batch duration划分job，计算过去半小时、1天或一周的数据，这时候不可避免的需要状态管理。如一整天的商品的点击量排名。

spark博大精深，为实现自己的梦想，不断的奋斗！通过spark研究jvm、研究分布式计算、研究架构设计、软件工程、图计算、机器学习、以spark为载体，也可以学习英语。

 

 

updateStateByKey：
DStream中找不到updateStateByKey方法，通过隐式转换 new PairDStreamFunctions[K, V](stream)，在PairDStreamFunctions中必须有updateStateByKey，从地狱中召唤出来的功能updateStateByKey，使用完以后又回到地狱了。

 

 

PairDStreamFunctionsPairDStreamFunctions

 

StateDStream