Hive自定义UDF的JAR包加入运行环境的方法
来源:互联网 发布:中国河北网络电视 编辑:程序博客网 时间:2024/06/06 03:02
Hive开发udf函数打包jar文件后,需将jar文件放入hive的运行环境,方法有三。
先将http://blog.csdn.net/fjssharpsword/article/details/70265554中重定义的两个类打包成DefTextInputFormat.jar,并放到/home/hdfs目录下。
Added resources: [/home/hdfs/DefTextInputFormat.jar]
查询后文件和表字段一致。
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hdfs/fangjs/DefTextInputFormat.jar,file:///jarpath/test.jar</value>
</property>
该方法不需要每次启动Hive执行命令加入,需要配置文件。
3、根目录${HIVE_HOME}下创建文件夹auxlib,然后将自定义jar文件放入该文件夹中;
该方法方便快捷,不过对于客户端操作环境就不能执行。
先将http://blog.csdn.net/fjssharpsword/article/details/70265554中重定义的两个类打包成DefTextInputFormat.jar,并放到/home/hdfs目录下。
1、方法一:使用add jar命令
1)在Hive下执行:add jar /home/hdfs/DefTextInputFormat.jar;
Added [/home/hdfs/DefTextInputFormat.jar] to class pathAdded resources: [/home/hdfs/DefTextInputFormat.jar]
该方法每次启动hive的时候都要从新加入,退出hive就会失效。
查询后文件和表字段一致。
2、hive-site.xml文件配置hive.aux.jars.path:
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hdfs/fangjs/DefTextInputFormat.jar,file:///jarpath/test.jar</value>
</property>
该方法不需要每次启动Hive执行命令加入,需要配置文件。
3、根目录${HIVE_HOME}下创建文件夹auxlib,然后将自定义jar文件放入该文件夹中;
该方法方便快捷,不过对于客户端操作环境就不能执行。
阅读全文
0 0
- Hive自定义UDF的JAR包加入运行环境的方法
- Hive自定义UDF的JAR包加入运行环境的方法
- hive中添加自定义udf udaf udtf等函数的jar文件的三种方法
- 新增自定义的udf包
- 开发HIVE的UDF自定义函数
- 1006-Hive的自定义UDF函数
- 开发HIVE的UDF自定义函数
- hive 自定义UDF处理的一些网址
- Hive中添加自定义UDF,UDAF,UDTF等函数jar文件的三种方式
- Hive永久UDF依赖包问题以及几个日期相关的自定义函数
- Hive部署UDF的四种方法
- Hive UDF调试打印的方法
- Hive和SparkSQL自定义UDF中依赖第三方Jar包
- hive的UDF 函数
- hive的UDF 函数
- hive的udf开发
- Hive的UDF
- Hive的UDF编程
- 王爽.汇编.第三版.课程设计1.答案
- Debug和Release编译方式的本质区别
- jquery如何让所有表单元素均为只读
- 【剑指offer】题30:最小的k个数
- JQuery Ui 实例 W3Cschool
- Hive自定义UDF的JAR包加入运行环境的方法
- 软件工程课程设计问题总结——医院门诊系统(四):后台获取下拉列表的值并在页面中显示
- 单链表成环问题
- Docker镜像导出、导入
- mysql 5.7 安装及修改/重置密码
- 从谷歌官方示例谈MVP设计模式
- Android 检测辅助功能是否开启,并调整设置页面
- Codeforces Round #422 (Div. 2)
- Nutz中那些好用的工具类