spark reduceByKey的小问题

来源:互联网 发布:python ide eclipse 编辑:程序博客网 时间:2024/06/05 20:29

spark reduceByKey有个小问题需要注意


就是reduceByKey前后的数据格式需要一致,如果不一致则会出错


比如以前的数据格式是(String, (Int, String)), 那么reduceByKey后也需要保持这个格式


如果格式变化则会出错


实在是想要(String, String)类型的话那么需要后面加个map

0 0
原创粉丝点击