HIVE中的自定义函数
来源:互联网 发布:量子理论 知乎 编辑:程序博客网 时间:2024/06/05 04:30
hive默认的函数并不是太完整,以后我们使用的使用肯定需要自己补充一些。
下面这个例子是个简单的测试,关于自定义函数的。
函数代码
package com.example.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public final class Lower extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text(s.toString().toLowerCase());
}
}
打包
javac -d Lower Lower.java
jar -cvf Lower.jar -C Lower/ .
在hive中添加包
hive> add jar /home/hjl/sunwg/Lower.jar;
Added /home/hjl/sunwg/Lower.jar to class path
在hive中创建函数
hive> create temporary function my_lower as ‘com.example.hive.udf.Lower’;
OK
Time taken: 0.407 seconds
使用函数
hive> select my_lower(name) from test10;
上面介绍了HIVE中的自定义函数,有一些函数是比较基础的,公用的,每次都要create temporary function不免太麻烦了。
这样的基础函数需要直接集成到hive中去,避免每次都要创建。
1,添加函数文件$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSunwg.java
package org.apache.hadoop.hive.ql.udf;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
public final class UDFSunwg extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text(s.toString().concat(“sunwg”).toLowerCase());
}
}
2,将函数sunwg注册到hive的函数列表中
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java文件
import org.apache.hadoop.hive.ql.udf.UDFSunwg;
registerUDF(“sunwg”, UDFSunwg.class,false);
3,测试函数sunwg
hive> select sunwg(“abc”) from sunwg00 limit 1;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_201104091858_381437, Tracking URL = http://hdpjt:50030/jobdetails.jsp?jobid=job_201104091858_381437
Kill Command = /home/dwapp/hadoop/bin/../bin/hadoop job -Dmapred.job.tracker=hdpjt:9001 -kill job_201104091858_381437
2011-04-21 16:01:28,733 Stage-1 map = 0%, reduce = 0%
2011-04-21 16:01:34,123 Stage-1 map = 50%, reduce = 0%
2011-04-21 16:01:35,543 Stage-1 map = 100%, reduce = 0%
Ended Job = job_201104091858_381437
OK
abcsunwg
Time taken: 48.53 seconds
总结:在hive中添加函数是如此的简单,建议将公共的基础函数添加到hive中,而一些个性化的函数还是创建临时函数。
- HIVE中的自定义函数
- HIVE中的自定义函数 .
- HIVE中的自定义函数
- HIVE中的自定义函数
- hive中的自定义函数
- (转)HIVE中的自定义函数
- Hive中的UDF及自定义函数示例
- Hive中的用户自定义函数UDF
- 自定义-Hive自定义函数
- HIVE中的自定义函数(临时函数和永久函数)
- Hive 自定义函数函数
- Hive 自定义函数函数
- hive用户自定义函数
- HIVE 自定义函数 UDF
- Hive自定义函数
- Hive自定义函数
- Hive自定义函数
- HIVE 自定义函数
- struts2教程
- 学习小结:Class类中的getField(String),getFields(),getDeclaredField(String),getDeclaredFields()关系
- 负数的右移
- 在WINCE中使用C++语言创建SILVERLIGHT的VISUALSTATE
- JDK1.7新特性
- HIVE中的自定义函数
- 【ORA-01720】grant option does not exist for 'string.string'
- window 必须掌握的八个DOS命令
- 引用2个表
- rtsp protocol (9)
- 更改cisco路由器的密碼
- 使用Memory Analyzer tool(MAT)分析内存泄漏(二)
- 三列布局设计
- SAP 动态设置 GUI STATUS 灰色不可用 或者隐藏