hive UDF编写
来源:互联网 发布:java方法继承 编辑:程序博客网 时间:2024/05/21 17:26
hive的类SQL预发给数据挖掘工作者带来了很多便利,海量数据通过简单的sql就可以完成分析,有时候hive提供的函数功能满足不了业务需要,就需要我们自己来写UDF函数来辅助完成,下面用一个简单的例子说明过程,以及注意事项。
UDF函数其实就是一个简单的函数,执行过程就是在Hive转换成mapreduce程序后,执行java方法,类似于像Mapreduce执行过程中加入一个插件,方便扩展. UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF .
(1)首先引入jar包,我在写的时候引入了两个jar包,分别是hive-exec-0.8.0.jar hadoop-core-0.20.2.jar
(2)写一个类,继承UDF类,例如:public class CheckAddress extends UDF
(3)写一个方法,名称为evaluate,此方法支持重载,例如:
public String evaluate(String srcAddress,String countyId){return ""}
(4)写完之后,导入jar包(命令行或者eclipse中自带的export功能),jar包上传到hadoop的运行环境中
(5)导入jar包hive,命令如下:
//add jar文件
add jar /home/bixiao.zy/udf/checkaddress.jar;
//创建函数,名称自定义,as后面是jar保重的类名称
create temporary function checkaddress as 'com.taobao.logistics.CheckAddress'
//在hive sql中使用
select *from order where pt='XXXXXXXXX' and checkaddress(receiver_address,receiver_county_id)='1'
如果需要写脚本来跑定时任务,那么上面的三段必须在一个会话过程中,否则函数会没有添加进去。
$HIVE_HOME/bin/hive -u XXX-p XXXX-e “都在这里面呵呵”
- hive UDF编写
- Hive编写UDF函数
- hive的udf的编写
- hive中UDF的编写
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- 利用eclipse编写自定义hive udf函数
- 利用eclipse编写自定义hive udf函数
- eclipse下编写hive udf函数
- Hive UDF自定义函数编写小例子
- Hive入门--3.UDF编写与使用
- hive中如何自定义编写UDF函数
- Hive使用小建议;编写hive UDF方法小示例
- hive udf
- hive-udf
- hive UDF
- hive UDF
- hive UDF
- 系统梳理Java注解
- Oracle expdp impdp dump参数介绍
- java回调
- TCP状态-问题排查
- JDBC-JdbcTemplate-spring、Ibatis
- hive UDF编写
- smarty不缓存内容怎么设置
- java log exception
- [转载]浅谈CSRF攻击方式
- java序列化简述
- [转载]日常工作与新技术
- android 手势流程解析
- HashMap原理机制自问自答
- web服务器中获取统计数据-猜测