hive下UDF函数的使用
来源:互联网 发布:监控ip修改软件 编辑:程序博客网 时间:2024/05/18 23:52
1、编写函数
package com.example.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class LowerCase extends UDF { public Text evaluate(final Text s) { if (s == null) { return null; } return new Text(s.toString().toLowerCase()); }}
2、用eclipse下的fatjar插件进行打包
先下载net.sf.fjep.fatjar_0.0.31.jar插件包,cp至eclipse/plugins目录下,重启eclipse,右击项目选Export,选择用fatjar导出(可以删掉没用的包,不然导出的jar包很大)
3、将导出的hiveudf.jar复制到hdfs上
hadoop fs -copyFromLocal hiveudf.jar hiveudf.jar
4、进入hive,添加jar,
add jar hdfs://localhost:9000/user/root/hiveudf.jar
5、创建一个临时函数
create temporary function my_lower as 'com.example.hive.udf.LowerCase';
6、调用
select LowerCase(name) from teacher;
注:这种方法只能添加临时的函数,每次重新进入hive的时候都要再执行4-6,要使得这个函数永久生效,要将其注册到hive的函数列表
添加函数文件$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFLowerCase.java
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java文件
import org.apache.hadoop.hive.ql.udf.UDFLowerCase;
registerUDF(“LowerCase”, UDFLowerCase.class,false);
(上面这个方法未测试成功)
为了避免每次都有add jar 可以设置hive的'辅助jar路径'
在hive-env.sh中 export HIVE_AUX_JARS_PATH=/home/ckl/workspace/mudf/mudf_fat.jar;
- hive下UDF函数的使用
- hive下UDF函数的使用
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- HIVE UDF函数使用
- hive的UDF 函数
- hive的UDF 函数
- hive的UDF 函数
- 写hive的udf函数
- Hive中UDF的使用
- oozie下使用hive UDF的惨痛教训
- eclipse下编写hive udf函数
- Hive的预定义UDF函数
- 如何写hive的udf函数?
- Hive的预定义UDF函数
- Hive的预定义UDF函数
- Hive的预定义UDF函数
- 开发HIVE的UDF自定义函数
- 11-14游标
- 梯度下降法
- 再学C++ Primer(9)-类
- Android tabhost下面的listview点击事件为什么不行
- process monitor工具下载地址
- hive下UDF函数的使用
- 边缘检测算子
- Java中异常
- X11(整理)
- Android tabhost下面的listview点击事件为什么不行
- 闲得无聊,编的一种把两组数据组合的程序
- win32同步和异步串口通信
- jsp中文问题
- 生成release版本的Android系统 --签名