hive中的本地模式

来源:互联网 发布:专升本网络教育 编辑:程序博客网 时间:2024/05/20 16:33
hive中的hql语句的执行大部分最后转化为了mr,但是执行的过程非常的慢,可以使用本地模式提高效率,不过不适合大数据量的时候。
需要开启本地模式:
sethive.exec.mode.local.auto=true;
这时再去执行相同的hql时,会发现速度提高很多。但是,本地模式主要用来做调试,不能配置到hive-site.xml中,因为本地模式,会只在当前机器上执行mr,如果数据量一大,那我们当前执行的节点就会挂掉。
0 0
原创粉丝点击