Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
来源:互联网 发布:网络病毒处置演练脚本 编辑:程序博客网 时间:2024/05/21 19:27
软件环境:
linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8
主机配置:
一共m1, m2, m3这五部机, 每部主机的用户名都为centos
192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Master, Workerm2: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Workerm3: Zookeeper, DataNode, NodeManager, Worker
说明:
使用UDF函数将Hive中的数据插入MySQL中, 需先在Hive中创建一个UDF临时函数, 然后通过该临时函数将数据从Hive插入到MySQL中
1.创建临时函数
启动Hive服务, 在Hive中创建UDF临时函数, 如以下例子: (dboutput: 临时函数名)
CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
2.将hive表中的数据直接插入mysql中
规范:
select dboutput('jdbc:mysql://localhost/dbName','userName','passWord','INSERT INTO mysqlTableName(column1, column2, column3, column4) VALUES (?,?,?,?)', column1, column2, column3, column4) from hiveTableName;
例子:
select dboutput('jdbc:mysql://m1/result','root','123','INSERT INTO bill_comp_archive(time, uid, billId, archiveId) VALUES (?,?,?,?)', time,uid,billId,archiveId) from bill_comp_archive;
语法解析:
dboutput: 临时函数m1: 目标mysql所在的主机的IP地址或主机名result: 目标mysql中的数据库名root: 登录mysql的用户名123: 登录mysql的密码INSERT INTO bill_comp_archive: "bill_comp_archive" 为mysql中的表名VALUES (?,?,?,?): 括号中的为字段的数据类型, ?表示通用的数据类型from bill_comp_archive: "bill_comp_archive"为hive中的数据库
3.报错返回信息
输出有3个: 0: 成功 1: SQL语法错误 2: 数据库连接错误
0 0
- Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
- 将Hive统计分析结果导入到MySQL数据库表中(三)——使用Hive UDF或GenericUDF
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- 编写hive udf和使用hive udf:hue的hive界面中使用hive udf函数、oozie使用hive udf函数、hive命令行使用udf函数
- hive 使用udf函数实现数据导入到mysql
- HIVE UDF函数使用
- 利用udf函数将hive统计结果直接插入到mysql
- 利用udf函数将Hive统计结果直接插入到MySQL
- Hive 中自定义UDF函数
- #hive#HIVE中使用python实现UDF
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- hive中使用自定义函数(UDF)实现分析函数row_number的功能
- Hive中UDF的使用
- 内置函数 & UDF函数在Hive中的使用
- 使用sqoop将mysql中数据导入到hive中
- 使用sqoop将hive中的表数据导入到mysql数据库表中,错误解决
- hive中的udf时间函数用法
- hive中的udf时间函数用法
- mysql数据库文件位置
- POJ 3488 Arne Saknussemm 可能会
- AWR解读
- (Android新手上路)actionbar完全自定义标题布局,告别繁琐的actionbar设置,看别人的然后自己琢磨出来的
- 常量函数成员奈我何
- Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
- android 调用第三方QQ、微信、新浪微博、腾讯微博等聊天方法
- ORACLE12C新引进的几个patch工具
- Python Appium介绍以及移动端自动化测试工具
- 【转载】[栅栏效应]栅栏效应 旁瓣效应 栅栏效应
- 详解intrinsicContentSize 及 约束优先级/content Hugging/content Compression Resistance
- appium (五)desired_caps参数
- 关于eclipse 部署相关jdk,tomcat或maven,jetty,weblogic的使用情况
- 个人函数封装