利用Sqoop实现MySQL与HDFS数据互导
来源:互联网 发布:手机版logo设计软件 编辑:程序博客网 时间:2024/06/08 08:14
利用Sqoop将MySQL中的数据表导入到hdfs端:(表格的主键要存在)
首先在MySQL的test数据库中有如下表格person:
在终端输入以下命令即可实现将person表导入到hdfs端:
sqoop import \--connect jdbc:mysql://localhost/test \--username root --password 147369 \--table person \--target-dir /vagrant/person_hdfs \--null-non-string '\\N';
其中import表示导入数据,connect行命令表示连接MySQL的test数据库,username和password为MySQL的用户名和密码,table为要导入的表格,target-dir为hdfs的目标位置,null-non-string ‘\N’会将数据库表中的null值转化为Hive和Impala中的\N,便于兼容。
运行结果如下:
前往hdfs网页查看:
利用Sqoop将hdfs端的数据表导入到MySQL:
1.查看hdfs端数据的内容:
可知:person目录下的数据以’,’为分界符。我们的目标是将person目录下的全部数据导入到MySQL。
2.在MySQL中创建相应格式的表格:
use testcreate table p(id int primary key, age int, sex int);
3.在终端输入以下命令即可实现将hdfs端person目录下的数据导入到MySQL中:
sqoop export \> --connect jdbc:mysql://localhost/test \> --username root --password 147369 \> --table p \> --export-dir /user/hive/warehouse/person/* \> --input-fields-terminated-by ',';
其中export命令表示导出数据,table为MySQL中test数据库的表格p,export-dir为hdfs端需要导出的目录,input-fields-terminated-by ‘,’表示hdfs端需要导出的数据的分界符为’,’。
4.前往MySQL数据库查看:
Bingo,这样我们就利用Sqoop实现MySQL与HDFS数据互导。
本次分享到此结束,欢迎大家交流与批评~~
阅读全文
0 0
- 利用Sqoop实现MySQL与HDFS数据互导
- sqoop--mysql与hdfs数据互导
- sqoop实现mysql与hdfs数据迁移
- sqoop实现Mysql、Oracle与hdfs之间数据的互导
- 通过sqoop 实现hdfs与mysql的数据导入导出
- Sqoop实现MySql/Oracle与Hdfs/Hbase互导数据
- Sqoop实现MySql/Oracle与Hdfs/Hbase互导数据
- Sqoop工具实现,hive、Hbase、HDFS与mysql、oracle数据导入
- sqoop mysql与HDFS互转
- 使用Sqoop将数据在HDFS与MySQL互导
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- JetBrains 里不为人知的秘密--特别篇(2)
- 使用jquery操作session
- php获取请求参数的方法
- git命令
- oracle在group by时某列有多个值的拼接
- 利用Sqoop实现MySQL与HDFS数据互导
- Sphinx -- windows的安装
- Gradle所有版本下载地址
- netfilter防火墙
- python中的list和array的不同之处
- iOS 记录之 Git介绍篇
- IDEA 常用快捷键
- 《nodejs开发指南》express4.x版-微博案例完整实现
- 高通4G全网通骁龙410系列-MSM8916(M9+) ( Cortex-A53架构)