cloudera mamager中配置hive加载第三方JAR

问题出现

在将清洗过的log日志加载进入HIVE这一步中，由于log是采用了json的格式，所以需要使用第三方的jar进行格式转换。

使用JsonSerde

这里使用了JsonSerde

在hive shell 中只需要手动临时添加jar就可以了，但是退出后需要再次添加

add jar /opt/hive_lib/json-serde-1.3.8-jar-with-dependencies.jarLOAD DATA LOCAL INPATH '/opt/kafaka_log/2017-09-26-py.log' OVERWRITE INTO TABLE test.user_log partition (year=2017,month=09,date='2017-09-26')

永久添加JAR

但是当我们使用脚本进行数据加载的时候就会出现问题，无法成功将数据导入，这时候就需要在CDH中配置一下外部JAR的位置了。

创建目录/etc/hive/auxlib 并将对应的JAR放在这里，然后重启集群，一切搞定！