hive MV速度慢的问题



事件：　执行一个HIVE查询，在执行到 hive 的 moving data 过程就卡住了，早上来的时候看执行还在那个位置。

 

   截屏如下：

运行程序服务器： [e-mail]

处理方法：在hive-site.xml中添加以下参数。

<property>        

     <name>hive.exec.stagingdir</name>        

   <value>/tmp/hive/.hive-staging</value>    

</property>

这个参数默认是<value.hive-staging</value>  会在输出目标目录下先建立一个sessionid目录用于临时存放执行结果。

hive最后在mv的时候，原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。如果copy操作，那么数据经过客户端读写一次，如果distcp那么会提交一个任务，不论哪种速度都会非常慢。

hive的MV策略如下：

  1.原文件是非hdfs文件，copyFromLocal

          2.原文件是hdfs文件

          2.1   Encrypted模式

                copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

         2.2  非Encrypted模式

            (1)原目录是目标目录的子目录，原目录下的每个文件进行copy操作，如果文件大于默认值（32MB），则会进行distcp操作。

            (2)其他情况，进行mv操作。