Hive总结（十一）Hive自定义函数UDF

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。

一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：

a）文件格式：Text File，Sequence File

b）内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text

c）用户提供的 map/reduce脚本：不管什么语言，利用 stdin/stdout 传输数据

d）用户自定义函数: Substr, Trim, 1 – 1

e）用户自定义聚合函数: Sum, Average…… n – 1

2、定义：UDF(User-Defined-Function)，用户自定义函数对数据进行处理。

二、用法

1、UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。

2、编写UDF函数的时候需要注意一下几点：

a）自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。

b）需要实现evaluate函数。

c）evaluate函数支持重载。

实现 IP  转十进制

[java] view plaincopyprint?

1. package org.iptostring;  
2.   
3. import org.apache.hadoop.hive.ql.exec.UDF;    
4.   
5. public class IpToString extends UDF {  
6.     public String evaluate(long longIp){  
7.         StringBuffer sb = new StringBuffer("");  
8.         sb.append(String.valueOf((longIp >>> 24)));  
9.         sb.append(".");  
10.         sb.append(String.valueOf((longIp & 0x00FFFFFF) >>> 16));  
11.         sb.append(".");  
12.         sb.append(String.valueOf((longIp & 0x0000FFFF) >>>  8 ));  
13.         sb.append(".");  
14.         sb.append(String.valueOf((longIp & 0x000000FF)));  
15.         return sb.toString();  
16.     }  
17. }  

[java] view plaincopyprint?

1. package org.iptolong;  
2.   
3. import java.util.regex.Pattern;  
4. import org.apache.hadoop.hive.ql.exec.UDF;    
5.   
6. public class IpToLong extends UDF {  
7.      
8.         public long evaluate(String strIp){  
9.             Pattern pattern = Pattern.compile("((\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5]))");    
10.             if (pattern.matcher( strIp ).matches()){              
11.                 long[] ip = new long[4];  
12.                 int position1 = strIp.indexOf(".");  
13.                 int position2 = strIp.indexOf(".", position1 + 1);  
14.                 int position3 = strIp.indexOf(".", position2 + 1);  
15.                 ip[0] = Long.parseLong(strIp.substring(0, position1));  
16.                 ip[1] = Long.parseLong(strIp.substring(position1+1, position2));  
17.                 ip[2] = Long.parseLong(strIp.substring(position2+1, position3));  
18.                 ip[3] = Long.parseLong(strIp.substring(position3+1));  
19.                 return (ip[0] << 24) + (ip[1] << 16) + (ip[2] <<  8 ) + ip[3];  
20.             }else{  
21.                 return 0;  
22.             }  
23.         }  
24. }