partition 的输出值的总数据和reduce数量不匹配
来源:互联网 发布:东罗马帝国 知乎 编辑:程序博客网 时间:2024/05/29 02:46
由于partition中的partition数量和reducer的数量是一致的,getpartition函数中的numpartitions 也是由job设定的reducer值传入。这个值到了partition类中不可以改变,问题是当我定义的getpartiton的值的种类多于(小于的情况是好理解的)reducer的个数时,这样的数据该如何分配到reducer?比如在job设定的reducer的数量为2,但是我在getpartition的返回值有1,2,3这三个值。待验证如下:
后续: 其实这是完全不可能的,因为在设定reduce数量值会传到getpartiton函数中,当返回值<0或者>=reducer数量值的时候就会出错。所以getpatition函数的返回值总会是<=returnvalue<reducerNum(partitionNum)(存疑中????)
在我的伪分布下不能设定多个reduce(设了也没有用,它总会是1)。
后续: 其实这是完全不可能的,因为在设定reduce数量值会传到getpartiton函数中,当返回值<0或者>=reducer数量值的时候就会出错。所以getpatition函数的返回值总会是<=returnvalue<reducerNum(partitionNum)(存疑中????)
在我的伪分布下不能设定多个reduce(设了也没有用,它总会是1)。
- partition 的输出值的总数据和reduce数量不匹配
- map和reduce的数量是如何定义的
- Hadoop的map任务和reduce任务的数量
- mapreduce中map和reduce的最大并发数量设置
- hadoop中map和reduce的数量设置问…
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- 如何控制hadoop中map和reduce任务的数量
- hadoop中map和reduce的数量设置
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置
- hadoop中map和reduce的数量设置问题
- MapReduce中Map Task和Reduce Task的数量
- hadoop中map和reduce的数量设置问题
- 设置Hive Map和Reduce的数量增加分析速度
- hadoop中map和reduce的数量设置问题
- hadoop中map和reduce的数量设置问题
- jqGrid 基础属性和方法
- BMP头文件格式以及C语言读取头文件
- MR方式简析
- Hibernate的getHibernateTemplate()的使用
- Fuel Stops
- partition 的输出值的总数据和reduce数量不匹配
- 标准C++中的string类的用法总结
- delta3D中demoAI的分析
- 《android 4高级编程》序
- getHibernateTemplate.load() 和get()之间的区别
- MR ADT 实例
- oracle samba 监听器启动命令
- jQuery Mobile 前端笔记一
- [Oracle, MySQL] Oracle通过dblink连接MySQL