SparkStreaming找不到reduceByKey的解决方法

来源:互联网 发布:top域名续费多少钱 编辑:程序博客网 时间:2024/05/16 10:14

别人的在这里

http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html
我也遇到同样的问题,我是spark1.0.2,也可能和版本有关,因为我1.3.0的时候不出错。
根据别人的分析,问题应该是隐式转换

Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。

隐式转换函数需要额外import,否则无法正常转换。

可以直接import转换函数:

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions   (我用的是这个,问题解决了)

或者import org.apache.spark.streaming.StreamingContext._   (这个没测试)



0 0
原创粉丝点击