MySQL向Hive/HBase的迁移工具
来源:互联网 发布:女装品牌大全知乎 编辑:程序博客网 时间:2024/05/14 21:03
首先声明,这篇文章是转帖的,原文出处为:
http://www.javabloger.com/article/hadoop-hive-mysql-sqoop.html
如果作者不同意转帖,请联系我,我会马上删除,谢谢!
Apache Hive是目前大型数据仓库的免费首选产品之一,使用Apache Hive的人是不会期望在小数据量上做什么文章,例如把MySQL中的数据搬到Hive/HBase中去,那样的话原先很快能执行完毕的SQL,估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据可以把大量的数据向Hive导入,如果上亿条的数据量再加上复杂的SQL查询条件对于MySQL来说是一件比较头疼的事情,此时相比而言对于Hive来说还算比较easy没有那么非常的头痛,但是两者之间缺少一个沟通的桥梁。
而然伟大的云计算公司cloudera.com也是Hadoop强力支持者推出了Sqoop,Sqoop顾名思义SQL-to-Hadoop,在sqoop中通过 ManagerFactory 抽象类对多种数据库类型进行了抽象,可以做到 Hsqldb、MySQL、Oracle、PostgreSQL 这些数据库中的数据可以向Hive中写入。
从导出/导入所有数据一条命令即可,而且可以对表和数据的筛选,开发的效率提升和配置的简洁是这个工具的特色所在,同样的机器配置、机器数量、数据量和数据内容,但是换了不同的环境得到了不同的执行效率,通过对RMDBS到Hadoop的迁移,带来了性能的提升,所以就体现了sqoop的价值。
在一次开发大会上提到的Sqoop主要功能
JDBC-based implementation
▪ Works with many popular database vendors
Auto-generation of tedious user-side code
▪ Write MapReduce applications to work with your data, faster
Integration with Hive
▪ Allows you to stay in a SQL-based environment
Extensible backend
▪ Database-specific code paths for better performance
具体操作手册相见:
http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html (官方)
- MySQL向Hive/HBase的迁移工具
- MySQL向Hive/HBase的迁移工具
- MySQL向Hive/HBase的迁移工具
- 【HBase/Hibe】搜集资料——MySQL向Hive/HBase的迁移
- RDBMS和HDFS, HIVE, HBASE的迁移工具Sqoop
- Put方法实现Mysql向Hbase数据迁移
- HBase数据迁移至Hive
- Mysql到HBase数据迁移-Sqoop工具方法
- mysql向hsql迁移的注意点
- mysql向Oracle迁移
- Hive、Hbase、mysql区别
- Hive、Hbase、mysql区别
- Hive、Hbase、mysql区别
- Hive、Hbase、mysql区别
- sqoop1.4.6实现Mysql与HDFS/Hbase的数据迁移
- 【Hive/HBase】Hive与HBase的整合
- sqoop向hdfs,hive,hbase导入数据
- oracle 向mysql数据迁移
- HBase入门篇3
- 查看sql的执行效率
- HBase入门篇4
- Windows下免安装Oracle客户端就能使用pl/sql developer的方法
- HBase入门篇5
- MySQL向Hive/HBase的迁移工具
- 看下这样的能力在广州能拿多少薪水
- Java字符串空格处理(无论有几个空格,都输出为1个空格,去除字符串前后的全角空格)
- 学习VC与C++先后顺序---相辅相成
- 五十条经典的爱情观
- JS的正则表达式
- 在CentOS5.5安装Oracle 11.2
- sqldatasource使用心得
- Fedora9 Samba 服务器的搭建