Hadoop入门之Hive自定义函数和Transform
来源:互联网 发布:华帝油烟机怎么样知乎 编辑:程序博客网 时间:2024/05/18 23:13
1.Java继承UDF类重写evaluate方法后打成Jar包上传,添加到Hive函数中
2.使用Transform在SQL中调用自己写的脚本
这里主要说下第二种:
1. 需要用到的原始表如下,分隔符号为\t
hive> select * from my_one_table;
OK
1 songqinghu
2 zhangwei
3 lujia
4 liuyuxin
2.为转换后的数据创建一个新表
drop table new_name;
CREATE TABLE new_name (
name string,
id string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';
3.编写一个python脚本,将字段位置换位一下
one.py 文件
#!/bin/python
import sys
for line in sys.stdin:
line = line.strip()
id, name = line.split('\t')
print ','.join([name,id])
4.将脚本文件上传到hive中(文件需要在hive服务机器上)
add FILE /home/hadoop/one.py;
5.执行transform
INSERT OVERWRITE TABLE new_name
SELECT
TRANSFORM (id,name)
USING 'python one.py'
AS (id,name)
FROM my_one_table;
运行就结果如下:
阅读全文
0 0
- Hadoop入门之Hive自定义函数和Transform
- Hive内置运算函数,自定义函数(UDF)和Transform
- Hive自定义函数与transform的使用
- Hadoop入门之Hive的安装和连接
- Hadoop入门之Hive的DDL和DML
- hadoop(十) - hive安装与自定义函数
- HIVE自定义函数之UDF,UDAF和UDTF
- hive的Transform定义函数
- Hadoop入门之自定义groupingcomparator和outputformat的使用
- 【hadoop hive】hive udaf开发入门和运行过程详解
- Hadoop之自定义Partitioner函数
- hadoop+hive+hbase入门
- hive.Hadoop入门
- Hadoop-Hive快速入门
- Hive学习之自定义函数(UDF)
- Hive学习之自定义聚合函数
- HIVE 自定义函数之UDF/UDAF/UDTF
- Hive之UDF,UDAF自定义函数
- 开发常用CSS
- JavaEE的13种核心技术
- 基于tcp、数据库的员工管理系统
- java 第一课笔记
- 单纯最大流(两个给定节点的最小割)问题的最优解法
- Hadoop入门之Hive自定义函数和Transform
- 三秒跳转和二次进入和按钮在最后一张图片上
- jquery选择器
- platform总线注册过程及platform_driver与platform_device的匹配
- [bzoj1006]: [HNOI2008]神奇的国度(最大势算法)
- 在蓝图中使用计时器(Timer)转自:Epic Games社区
- Java常见的问题总结--持续更新中
- ORACLE 存储过程异常捕获并抛出
- 侧滑+横向滚动条+PullToRefreshListView+拼接字符串接口