Hive UDAF开发
来源:互联网 发布:男士大衣品牌 知乎 编辑:程序博客网 时间:2024/05/29 16:47
Hive进行UDAF开发,相对要比UDF复杂一些,不过也不是很难。
请看一个例子
package org.hrj.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;
public class UDAFSum_Sample extends NumericUDAF {
public static class Evaluator implements UDAFEvaluator {
private boolean mEmpty;
private double mSum;
public Evaluator() {
super();
init();
}
public void init() {
mSum = 0;
mEmpty = true;
}
public boolean iterate(DoubleWritable o) {
if (o != null) {
mSum += o.get();
mEmpty = false;
}
return true;
}
public DoubleWritable terminatePartial() {
// This is SQL standard - sum of zero items should be null.
return mEmpty ? null : new DoubleWritable(mSum);
}
public boolean merge(DoubleWritable o) {
if (o != null) {
mSum += o.get();
mEmpty = false;
}
return true;
}
public DoubleWritable terminate() {
// This is SQL standard - sum of zero items should be null.
return mEmpty ? null : new DoubleWritable(mSum);
}
}
}
1.将java文件编译成Sum_Sample.jar
2.进入hive
hive> add jar Sum_sample.jar;
hive> create temporary function sum_test as 'com.hrj.hive.udf.UDAFSum_Sample';
hive> select sum_test(t.num) from t;
hive> drop temporary function sum_test;
hive> quit;
关于UDAF开发注意点:
1.需要import org.apache.hadoop.hive.ql.exec.UDAF以及org.apache.hadoop.hive.ql.exec.UDAFEvaluator,这两个包都是必须的
2.函数类需要继承UDAF类,内部类Evaluator实现UDAFEvaluator接口
3.Evaluator需要实现 init、iterate、terminatePartial、merge、terminate这几个函数
1)init函数类似于构造函数,用于UDAF的初始化
2)iterate接收传入的参数,并进行内部的轮转。其返回类型为boolean
3)terminatePartial无参数,其为iterate函数轮转结束后,返回乱转数据,iterate和terminatePartial类似于hadoop的Combiner
4)merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean
5)terminate返回最终的聚集函数结果
- Hive UDAF 开发
- Hive UDAF开发
- Hive-UDAF开发指南
- Hive-UDAF开发指南
- Hive UDAF开发
- Hive UDAF开发
- hive udaf的开发
- Hive UDAF开发详解
- Hive UDAF开发
- hive udf&udaf开发
- Hive-UDAF开发指南
- Hive 简单UDAF开发(extends UDAF)
- Hive 简单UDAF开发(extends UDAF)
- 举例详解Hive UDAF开发
- Hive自定义函数UDAF开发
- hive-udaf开发实例1
- hive udaf
- hive udaf
- 斯坦福机器学习第四周(神经网络及其应用)
- MySQL常用查询
- Hive UDF开发
- poj1228-Grandpa's Estate 带边上节点的凸包(稳定凸包)问题
- AppCompatActivity全屏/状态栏设置颜色
- Hive UDAF开发
- 集群
- 键盘遮挡输入框
- com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
- generatorConfig.xml
- 第二次面试
- TensorFlow 里的线性函数
- LightOJ
- C++ 继承的构造与析构