sqoop导入导出数据(cdh版)
来源:互联网 发布:java sha1加密 编辑:程序博客网 时间:2024/04/28 20:36
前置条件
已经成功安装配置Hadoop和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase。
下载sqoop和Mysql的JDBC驱动
sqoop-1.2.0-CDH3B4.tar.gz :http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz
mysql-connector-java-5.1.28
安装sqoop
[hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz
配置环境变量
拷贝Hadoop核心包和MYSQL驱动包到sqoop的lib目录
[hadoop@appserver ~]$ cp hadoop-1.1.2/hadoop-core-1.1.2.jar sqoop-1.2.0-CDH3B4/lib/
[hadoop@appserver ~]$ cp mysql-connector-java-5.1.28-bin.jar sqoop-1.2.0-CDH3B4/lib/
配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件
注释掉hbase和zookeeper检查(除非准备使用HABASE等HADOOP组件)
启动hadoop集群
启动mysql
创建sqoop用户
建立sqoop库,test表,并构造测试数据
测试sqoop连接
[hadoop@appserver ~]$ sqoop list-databases --connect jdbc:mysql://10.120.10.11:3306/ --username sqoop --password sqoop
列出mysql中所有数据库的名称
从mysql导入到hdfs中
sqoop ##sqoop命令
import ##表示导入
--connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
--username sqoop ##连接mysql的用户名
--password sqoop ##连接mysql的密码
--table test ##从mysql导出的表名称
--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符
-m 1 ##复制过程使用1个map作业
[hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --fields-terminated-by ':' -m 1
Hadoop中查看导入结果
从hdfs导出到mysql中
sqoop
export ##表示数据从hive复制到mysql中
--connect jdbc:mysql://ip:3306/sqoop
--username sqoop
--password sqoop
--table test ##mysql中的表,即将被导入的表名称
--export-dir '/user/root/aa/part-m-00000' ##hive中被导出的文件
--fields-terminated-by '\t' ##hive中被导出的文件字段的分隔符
[hadoop@appserver ~]$ sqoop export --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --export-dir '/user/hadoop/test/part-m-00000' --fields-terminated-by ':' -m 1
Mysql中查看导出结果
从Mysql导入到Hbase中
参数说明:
Ø hbase_tablename指定要导成hbase的表名
Ø key_col_name指定mysql数据库表中哪一列作为hbase新表的rowkey
Ø col_fam_name是除rowkey之外的所有列的列族名
[hadoop@appserver ~]$ sqoop import --connect jdbc:mysql://10.120.10.11:3306/sqoop --username sqoop --password sqoop --table test --hbase-create-table --hbase-table mysql_sqoop_test --column-family info --hbase-row-key id -m 1
在Hbase中查看结果
- sqoop导入导出数据(cdh版)
- sqoop数据导入导出
- Sqoop数据导入导出
- sqoop数据导出导入命令
- sqoop的数据导入导出
- sqoop数据导出导入命令
- Sqoop 数据导入导出实践
- Sqoop进行数据导入导出
- 使用sqoop导入导出数据
- Hive数据导入、sqoop数据导入导出
- 使用sqoop工具进行数据导入导出 sqoop并行导入
- sqoop数据导入与数据导出
- Sqoop数据迁移,工作机制,sqoop安装(配置),Sqoop的数据导入,导入表数据到HDFS,导入关系表到HIVE,导入到HDFS指定目录,导入表数据子集,按需导入,增量导入,sqoop数据导出
- Sqoop安装配置及数据导入导出
- sqoop导入导出表/数据到Hive
- 利用sqoop完成数据导入导出
- sqoop数据导入导出常用功能
- sqoop安装与导入导出数据
- centos 6.5关闭NetworkManager
- 【bzoj2734】【HNOI2012】【状压DP】集合选数
- c编程规范-初级版
- riot实现spinner标签
- 网址搜集
- sqoop导入导出数据(cdh版)
- javascript中return、return false、return true有什么区别?
- Android RecyclerView更新某条/一条数据
- linux学习——简单串口通信
- 【PAT甲级】1048. Find Coins (25)
- android studio中创建使用菜单和Toast通知的使用方法
- Canvas旋转元素
- CentOS 7 minimal安装完成之后安装图形界面
- (枚举)dfs-POJ 3279Fliptile (详)