hadoop学习笔记(6)-别拿Hadoop map key当id使

来源:互联网 发布:iskyshop b2b2c源码 编辑:程序博客网 时间:2024/04/29 02:50

在写mapreduce时,发现一个问题:

hadoop的map函数的key一般是输入文件的行号,于是乎就希望把这个当作一个unique id来用,但是确出了很严重的问题,在分布式集群中,不同map任务中可能会有很多相同的行号,千万不能把这个key当作id.


原创粉丝点击