Hive中实现自定义函数UDF详细过程
来源:互联网 发布:java list sort方法 编辑:程序博客网 时间:2024/05/18 15:06
Hive的UDF,其实很类似Mysql之类的自定义函数
不过它需要用java来编写,而不是用传统的SQL来完成
实现一个UDF的步骤如下:
- 实现一个Java Class,继承自UDF
- 打成jar包,并加入到Hive的ClassPath中
- 生成自定义函数,执行select
- 删除刚才创建的临时函数
下面这个UDF,是我给hive的array增加的一个函数
用来判断array中是否包含某个值,hive的标准函数中并没有此功能函数
然后执行编译打包:
javac -classpath /opt/hadoop_client/hadoop/hadoop-0.20.2+228-core.jar:/opt/hadoop_client/hive/lib/hive-exec-0.5.0.jar src/com/sohu/hadoop/hive/udf/ArrayContains.java -d build
jar -cvf hadooop-mc-udf.jar -C build .
最后执行Hive QL查询:
hive -e "add jar /opt/ysz/udf/hadooop-mc-udf.jar;drop temporary function array_contains;create temporary function array_contains as 'com.sohu.hadoop.hive.udf.ArrayContains';select suv,channelid from pvlog_pre where array_contains(channelid,'2')"
- Hive中实现自定义函数UDF详细过程
- Hive 中自定义UDF函数
- Hive中实现自定义函数UDF及打包
- hive中如何自定义编写UDF函数
- HIVE 自定义函数 UDF
- Hive自定义函数-UDF
- hive自定义函数UDF
- Hive自定义函数UDF
- Hive自定义UDF函数
- 自定义HIVE-UDF函数
- hive自定义函数UDF
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- Hive内部自定义函数UDF
- hive 自定义函数UDF,UDAF
- Hive自定义函数UDF开发
- Hive自定义函数(UDF、UDAF)
- Hive添加自定义UDF函数
- ByteStream
- C++模板:函数模板和模板函数
- 行业分类股票按类型的业务
- javax.persistence.EntityNotFoundException: deleted entity passed to persist:异常总结
- 可以帮助投资者比较他们买股票
- Hive中实现自定义函数UDF详细过程
- 保险人不能保证每次都能得胜
- AS3的dynamic类
- 重逢
- mysql 命令
- Linux上装两个tomcat如何配置service命令
- Android Apk 重启安卓终端(开机重启)(需获得root权限)
- 单点登录
- strstr的作用