hive添加完hive.exec.stagingdir参数，有的SQL报FileNotFoundException错



事件：　在调整参数hive.exec.stagingdir之后，有的SQL报错，有的SQL可以正常运行。

 

   截屏如下：

|

处理方法：

<property>        

     <name>hive.insert.into.multilevel.dirs</name>        

   <value>true</value>    

</property>

 

原因：当hive.insert.into.mulltilevel.dirs设置成false的时候，insert 目标目录的上级目录必须存在。

如insert overwrite into directory '/user/data/pv/20160901/00/' select XXX from xxx where dt='20160901' and hour='00' 时，只存在/user/data/pv 目录，不存在20160901/00/ 目录。当hive.insert.into.mulltilevel.dirs设置成false的时候，insert 相当于只能建立目标目录，所以会失败。

以前不会失败的原因是，当hive.exec.stagingdir设置为.hive-staging时，由于临时目录在目标目录下面，所以创建临时目录时，会先创建目标目录，不存在目标目录不存在的问题。