Hadoop中根据ID分发数据和Storm中根据字段分发数据的作用

来源:互联网 发布:淘宝店级别怎么分 编辑:程序博客网 时间:2024/06/15 04:20
Hadoop中根据ID分发数据和Storm中根据字段分发数据具有的作用是一致的:
保证在并发运行环境中,计算结果的正确性。

如果不这么做。在并发运行环境中,有两个线程(或者进程)A和B,都能够对ID=1000(或者某个字段=某个值)的数据进行操作,那么有可能A和B的操作互相覆盖,产生错误的结果。
0 0
原创粉丝点击