SparkStreaming找不到reduceByKey的解决方法
来源:互联网 发布:top域名续费多少钱 编辑:程序博客网 时间:2024/05/16 10:14
别人的在这里
http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html
我也遇到同样的问题,我是spark1.0.2,也可能和版本有关,因为我1.3.0的时候不出错。
根据别人的分析,问题应该是隐式转换
Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。
隐式转换函数需要额外import,否则无法正常转换。
可以直接import转换函数:
import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions (我用的是这个,问题解决了)
或者import org.apache.spark.streaming.StreamingContext._ (这个没测试)
0 0
- SparkStreaming找不到reduceByKey的解决方法
- SparkStreaming找不到reduceByKey的解决方法
- reduceByKey
- .pch找不到的解决方法
- reduceByKey与groupByKey的区别
- spark reduceByKey的小问题
- 如何完美的解释reducebyKey
- groupByKey 和reduceByKey 的区别:
- win98找不到光驱的解决方法
- 找不到tlbimp命令的解决方法
- 找不到mysql.sock的解决方法
- ECLIPSE找不到插件的解决方法
- 找不到aspnet用户权限的解决方法
- fdisk命令找不到的解决方法
- eclipse找不到插件的解决方法
- fdisk命令找不到的解决方法
- ECLIPSE找不到插件的解决方法
- E426:找不到tag:的解决方法
- Android Studio Building 'xxx' Gradle project info
- 编程之美电梯调度问题
- [转]Python、Django以及PyCharm安装心得
- 聚焦GPUBoost 揭密GTX680最革命性变化
- Linux系统下安装配置jdk
- SparkStreaming找不到reduceByKey的解决方法
- nginx配置location总结及rewrite规则写法
- UE3 材质概述
- osg 默认光源设置
- 遍历Map的四种方法
- Java快速开发平台:J-Hi
- XCode 开发去除 UserInterfaceState.xcuserstate 文件为版本控制(git、svn)带来的困扰
- 全方位的比较node.js 与 js的区别
- Codeforces 138C(区间更新+离散化)