HIVE分析统计结果直接导入mysql数据库
来源:互联网 发布:mac pro13寸尺寸 编辑:程序博客网 时间:2024/05/16 08:53
大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
步骤为
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
步骤为
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。
- HIVE分析统计结果直接导入mysql数据库
- 利用udf函数将hive统计结果直接插入到mysql
- 利用udf函数将Hive统计结果直接插入到MySQL
- 将Hive统计分析结果导入到MySQL数据库表中(二)——使用Hive和MySQL JDBC驱动
- Spark实现HIVE统计结果导入到HBase操作
- 将Hive统计分析结果导入到MySQL数据库表中(三)——使用Hive UDF或GenericUDF
- 将Hive统计分析结果导入到MySQL数据库表中(一)——Sqoop导入方式
- 将awstats分析日志结果导入mysql
- 将awstats分析日志结果导入mysql
- 一个hive小案例:使用HIVE进行单词统计, 并把结果存入mysql
- hive 直接插入mysql
- sqoop 从mysql数据库导入到hive表格错误解决方法
- sqoop实现mysql到hive数据库的导入导出
- MySQL导入Hive
- mysql 查询结果导出文件并导入文件到数据库
- excel文件直接导入mysql数据库的方法
- excel文件直接导入mysql数据库的方法
- 关于XML 文件直接导入Mysql数据库内容笔记
- Spring MVC 3.2 技术预览(三):动手写一个异步Controller方法
- Android官网文档学习: Application Fundamentals
- 关于 Android导出apk时碰到的[Unable to execute dex: Multiple dex files define]
- 奥卡姆剃刀(Occam's Razor, Ockham's Razor)
- QEMU模拟FriendlyArm的Mini2440开发板
- HIVE分析统计结果直接导入mysql数据库
- dbms_xplan包-获取执行计划
- 【EXE PE】vs_version_info全解析
- cocos2d-x 读取xml中的“\n”不能换行
- 文件上传
- 华为面向2013年招聘笔试题
- OpenCV移植到ARM平台---Opencv with ffmpeg to ARM移植总结
- 电话本VCF乱码完美解决
- ANSI、UTF8、UNICODE 相互转换