利用udf函数将hive统计结果直接插入到mysql
来源:互联网 发布:淘宝能追评几次 编辑:程序博客网 时间:2024/05/01 08:04
大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
步骤为
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。
- 利用udf函数将hive统计结果直接插入到mysql
- 利用udf函数将Hive统计结果直接插入到MySQL
- Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
- 利用python将hive查询结果保存到mysql
- 将Hive统计分析结果导入到MySQL数据库表中(三)——使用Hive UDF或GenericUDF
- hive 使用udf函数实现数据导入到mysql
- HIVE分析统计结果直接导入mysql数据库
- hive自定义函数 将查询统计结果输出到指定的jdbc数据源
- hive 直接插入mysql
- 使用insert子句将查询结果插入到hive表
- 将hive查询到的结果插入动态分区表
- 利用eclipse编写自定义hive udf函数
- 利用eclipse编写自定义hive udf函数
- MySQL将查询结果插入到数据表中
- MySQL将查询结果插入到数据表中
- MySQL将查询结果插入到数据表中
- MySQL将查询结果插入到数据表中
- MySQL将查询结果插入到数据表中
- LoadRunner11录制无法打开IE的解决办法
- Js 屏蔽右键
- 关于JSP显示中文乱码的困恼。
- java基本数据类型及其封装类
- JS控制FLASH
- 利用udf函数将hive统计结果直接插入到mysql
- 黑马程序员 Java基础<八>---> 集合-工具类
- 播放器代码
- BaiduMap提示 java.lang.UnsatisfiedLinkError: Native method not found: com.baidu.mapapi.Mj.initClass:(L
- JS控制视频播放
- 多层统计图钻取
- 九大HTML5开发工具
- window.open()--窗口参数详解
- git hooks