hadoop相关参数对集群的影响

来源:互联网 发布:mac卸载pd 编辑:程序博客网 时间:2024/05/17 07:52

随着HBase的上线带来了一些问题,在调整原来参数的过程中,影响到了之前相关任务的执行过程

其中就有个参数:

mapred.reduce.parallel.copies

 

当初上线的时候,设置是20。由于后面在对hbase做相关批量导入数据时,将此值修改成6。然后脚本在运行时在reduce阶段,Read timeOut的超时现象。

 

原创粉丝点击