hive进行mapreduce卡壳解决方法

来源:互联网 发布:mac下ant环境变量配置 编辑:程序博客网 时间:2024/04/29 06:06

在google搜索得出的解决方案是在执行的hive语句前添加以下几条参数值设定语句:

set mapreduce.job.reduces=512;set hive.groupby.skewindata=true;set hive.optimize.skewjoin=true;set hive.skewjoin.key=5000;set hive.groupby.mapaggr.checkinterval=5000;

设置后,能保证hive语句正常完整执行,不会卡在固定的MapReduce进度上。

0 0