Hive UDF开发指南
来源:互联网 发布:java hashset 多线程 编辑:程序博客网 时间:2024/06/14 13:28
简述
编写Apache Hive用户自定义函数(UDF)有两个不同的接口,一个非常简单,另一个...就相对复杂点。
如果你的函数读和返回都是基础数据类型(Hadoop&Hive 基本writable类型,如Text,IntWritable,LongWriable,DoubleWritable等等),那么简单的API(org.apache.hadoop.hive.ql.exec.UDF)可以胜任
但是,如果你想写一个UDF用来操作内嵌数据结构,如Map,List和Set,那么你要去熟悉org.apache.hadoop.hive.ql.udf.generic.GenericUDF这个API
简单API: org.apache.hadoop.hive.ql.exec.UDF
复杂API: org.apache.hadoop.hive.ql.udf.generic.GenericUDF
复杂API: org.apache.hadoop.hive.ql.udf.generic.GenericUDF
接下来我将通过一个示例为上述两个API建立UDF,我将为接下来的示例提供代码与测试
如果你想浏览代码:fork it on Github:https://github.com/rathboma/hive-extension-examples
如果你想浏览代码:fork it on Github:https://github.com/rathboma/hive-extension-examples
简单API
用简单UDF API来构建一个UDF只涉及到编写一个类继承实现一个方法(evaluate),以下是示例:
class SimpleUDFExample extends UDF { public Text evaluate(Text input) { return new Text("Hello " + input.toString()); }}
因为该UDF是一个简单的函数,你可以在规范的测试工具测试它,如JUnit。
public class SimpleUDFExampleTest { @Test public void testUDF() { SimpleUDFExample example = new SimpleUDFExample(); Assert.assertEquals("Hello world", example.evaluate(new Text("world")).toString()); }}
%> hivehive> ADD JAR target/hive-extensions-1.0-SNAPSHOT-jar-with-dependencies.jar;hive> CREATE TEMPORARY FUNCTION helloworld as 'com.matthewrathbone.example.SimpleUDFExample';hive> select helloworld(name) from people limit 1000;
事实上,上述UDF有一个bug,不会去检查null参数,null在一个大的数据集当中是很常见的,所以要适当严谨点。作为回应,这边在函数中加了一个null检查
class SimpleUDFExample extends UDF { public Text evaluate(Text input) { if(input == null) return null; return new Text("Hello " + input.toString()); }}
然后加了一个测试去验证它
@Testpublic void testUDFNullCheck() { SimpleUDFExample example = new SimpleUDFExample(); Assert.assertNull(example.evaluate(null));}
用mvn test跑一下测试,来保证所有用例通过。
复杂的API
org.apache.hadoop.hive.ql.udf.generic.GenericUDF API提供了一种方法去处理那些不是可写类型的对象,例如:struct,map和array类型。
这个API需要你亲自去为函数的参数去管理对象存储格式(object inspectors),验证接收的参数的数量与类型。一个object inspector为内在的数据类型提供一个一致性接口,以至不同实现的对象可以在hive中以一致的方式去访问(例如,只要你能提供一个对应的object inspector,你可以实现一个如Map的复合对象)。
这个API要求你去实现以下方法:
// 这个类似于简单API的evaluat方法,它可以读取输入数据和返回结果abstract Object evaluate(GenericUDF.DeferredObject[] arguments);// 该方法无关紧要,我们可以返回任何东西,但应当是描述该方法的字符串abstract String getDisplayString(String[] children);// 只调用一次,在任何evaluate()调用之前,你可以接收到一个可以表示函数输入参数类型的object inspectors数组// 这是你用来验证该函数是否接收正确的参数类型和参数个数的地方abstract ObjectInspector initialize(ObjectInspector[] arguments);
可能要通过一个示例才能去了解这个接口,所以接下来往下看。
示例
我将通过建立一个UDF函数:containsString,来加深对该API了解,该函数接收两个参数:
一个String的列表(list)
一个String
一个String的列表(list)
一个String
根据该list中是否包含所提供的string来返回true或者false,如下:
containsString(List("a", "b", "c"), "b"); // truecontainsString(List("a", "b", "c"), "d"); // false
不同于UDF接口,这个GenericUDF接口需要更啰嗦点。
class ComplexUDFExample extends GenericUDF { ListObjectInspector listOI; StringObjectInspector elementOI; @Override public String getDisplayString(String[] arg0) { return "arrayContainsExample()"; // this should probably be better } @Override public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException { if (arguments.length != 2) { throw new UDFArgumentLengthException("arrayContainsExample only takes 2 arguments: List<T>, T"); } // 1. 检查是否接收到正确的参数类型 ObjectInspector a = arguments[0]; ObjectInspector b = arguments[1]; if (!(a instanceof ListObjectInspector) || !(b instanceof StringObjectInspector)) { throw new UDFArgumentException("first argument must be a list / array, second argument must be a string"); } this.listOI = (ListObjectInspector) a; this.elementOI = (StringObjectInspector) b; // 2. 检查list是否包含的元素都是string if(!(listOI.getListElementObjectInspector() instanceof StringObjectInspector)) { throw new UDFArgumentException("first argument must be a list of strings"); } // 返回类型是boolean,所以我们提供了正确的object inspector return PrimitiveObjectInspectorFactory.javaBooleanObjectInspector; } @Override public Object evaluate(DeferredObject[] arguments) throws HiveException { // 利用object inspectors从传递的对象中得到list与string List<String> list = (List<String>) this.listOI.getList(arguments[0].get()); String arg = elementOI.getPrimitiveJavaObject(arguments[1].get()); // 检查空值 if (list == null || arg == null) { return null; } // 判断是否list中包含目标值 for(String s: list) { if (arg.equals(s)) return new Boolean(true); } return new Boolean(false); } }
代码走读
函数的调用模块如下:
1、该UDF用默认的构造器来初始化
1、该UDF用默认的构造器来初始化
2、udf.initialize() 被调用,传人udf参数的object instructors数组,(ListObjectInstructor, StringObjectInstructor)
1) 检查传人的参数有两个与该参数的数据类型是正确的(见上面)
2) 我们保存object instructors用以供evaluate()使用(listOI, elementOI)
3) 返回 object inspector,让Hive能够读取该函数的返回结果(BooleanObjectInspector)
3、对于查询中的每一行,evaluate方法都会被调用,传人该行的指定的列(例如,evaluate(List(“a”, “b”, “c”), “c”) )。
1) 我们利用initialize方法中存储的object instructors来抽取出正确的值。
2) 我们在这处理我们的逻辑然后用initialize返回的object inspector来序列化返回来的值(list.contains(elemement) ? true : false)。
测试
测试该函数比较复杂的部分是初始化,一旦调用顺序明确了,我们就知道怎么去构建该对象测试流程,非常简单。public class ComplexUDFExampleTest { @Test public void testComplexUDFReturnsCorrectValues() throws HiveException { // 建立需要的模型 ComplexUDFExample example = new ComplexUDFExample(); ObjectInspector stringOI = PrimitiveObjectInspectorFactory.javaStringObjectInspector; ObjectInspector listOI = ObjectInspectorFactory.getStandardListObjectInspector(stringOI); JavaBooleanObjectInspector resultInspector = (JavaBooleanObjectInspector) example.initialize(new ObjectInspector[]{listOI, stringOI}); // create the actual UDF arguments List<String> list = new ArrayList<String>(); list.add("a"); list.add("b"); list.add("c"); // 测试结果 // 存在的值 Object result = example.evaluate(new DeferredObject[]{new DeferredJavaObject(list), new DeferredJavaObject("a")}); Assert.assertEquals(true, resultInspector.get(result)); // 不存在的值 Object result2 = example.evaluate(new DeferredObject[]{new DeferredJavaObject(list), new DeferredJavaObject("d")}); Assert.assertEquals(false, resultInspector.get(result2)); // 为null的参数 Object result3 = example.evaluate(new DeferredObject[]{new DeferredJavaObject(null), new DeferredJavaObject(null)}); Assert.assertNull(result3); }}
结束语
希望这篇文章能够让你了解通过集成怎么去编写hive的自定义函数。
虽然在这篇文章中有一些其他的东西没提及到,但是另外有UDAF函数与UDTF函数,UDAF函数能够在一个函数中处理与聚集多行数据,如果你更感兴趣,这里有一些资源可以提供帮助。
虽然在这篇文章中有一些其他的东西没提及到,但是另外有UDAF函数与UDTF函数,UDAF函数能够在一个函数中处理与聚集多行数据,如果你更感兴趣,这里有一些资源可以提供帮助。
另外,值得一读的书籍有Apache Hive Book from O’Reilly该数包含UDF与UDAF的简明的教程,和代码示例,更容易让你们明白如何去构建这些函数、什么异常你必须要指定、什么类型你必须返回
翻译来自于
http://blog.matthewrathbone.com/2013/08/10/guide-to-writing-hive-udfs.html
0 0
- Hive UDF开发指南
- 开发hive UDF函数
- Hive UDF 开发
- hive UDF开发注意事项
- hive开发UDF随记
- Hive UDF开发
- 开发hive UDF函数
- Hive UDF开发
- hive的udf开发
- Hive UDF开发
- hive UDF函数开发
- 开发hive UDF
- Hive UDF开发
- hive UDF开发实例
- Hive UDF开发
- Hive开发UDF
- Hive UDF开发初步
- hive udf&udaf开发
- Android 代码中实现返回键功能
- iOS应用架构谈 -(2)view层的组织和调用方案
- Key is invalid Fingerprint cannot be generated
- Qt moveToThread
- 从文件 I/O 看 Linux 的虚拟文件系统
- Hive UDF开发指南
- iOS应用架构谈 (3)网络层设计方案
- oracle命令行删除某用户的所有表
- Android Watchdog框架看门狗解析、死锁应用与改造(上)
- 一步一步学习TypeScript(10.Functions_函数)
- PHP漏洞全解(六)-Session劫持
- scaleType记录
- iPhone手机下载应用软件的区别(itunes,i4和itools)
- git 命令