Hadoop使用 MapReduce排序思路、全局排序

来源:互联网 发布:战地2武器数据修改 编辑:程序博客网 时间:2024/06/01 09:01

hadoop中的shuffle会自动进行排序,但是这个过程很慢。
我们可以把N个数据分成K份(1,2,3,4,5…k)并且保证K中的数字大于k-1
然后把K份数据分别进行reduce结果进行合并就会提高排序速度

http://www.thebigdata.cn/Hadoop/13225.html
原创粉丝点击