sqoop数据库迁移工具——实操
来源:互联网 发布:2016淘宝刷单安全吗 编辑:程序博客网 时间:2024/06/06 12:57
Sqoop实操:数据迁移工具sqoop主要用于hadoop(Hive)与传统数据库mysql间进行数据的迁移
sqoop是将语法转换hdfs/yarn需要将mysql-connector-5.1.8.jar拷贝至itcast03机器上cp /root/mysql-connector-5.1.8.jar /itcast/sqoop-1.4.4/lib/(不需要配置任何文件,它会自动寻找HADOOP_HOME)我们将进行从mysql数据库数据迁移至hdfs中
1.将mysql数据库的student表迁移到hdfs中
./sqoop import --connect jdbc:mysql://192.168.8.100:3306/mysql --username root --password 1234 --table student
2.我们可以指定生成到目录位置,起动几个map
./sqoop import --connect jdbc:mysql://192.168.8.100:3306/mysql --username root --password 1234 --table student --target-dir /sqoop/student1 -m 2
3.也可以指定windows下的mysql的表、列、及分隔符导入到hdfs中
./sqoop import --connect jdbc:mysql://192.168.8.100:3306/mysql --username root --password 1234 --table student --target-dir /sqoop/student2 -m 2 --fields-terminated-by '\t' --columns "id, NAME, department"
4.当然也可以导入自定义条件的数据
./sqoop import --connect jdbc:mysql://192.168.8.100:3306/mysql --username root --password 1234 --table student --target-dir /sqoop/student3 -m 2 --fields-terminated-by '\t' --where 'id>904 and id<=906'
5.$CONDITIONS将条件传给map,如果加了'select'必须添加$CONDITIONS,启用一个map时不用--split-by,如果启用多个map就需要--split-by
./sqoop import --connect jdbc:mysql://192.168.8.100:3306/mysql --username root --password 1234 --query 'select * from student where id > 902 and $CONDITIONS' -m 2 --target-dir /sqoop/student4 --split-by id
6.重点是我们还可以将数据导回数据库mysql
./sqoop export --connect jdbc:mysql://192.168.8.100/student --username root --password 1234 --export-dir '/sqoop/student3' --table student_copy -m 1 --fields-terminated-by '\t'
阅读全文
1 0
- sqoop数据库迁移工具——实操
- sqoop数据迁移工具
- sqoop工具数据迁移
- Sqoop教程(一) Sqoop数据迁移工具
- Sqoop教程(一) Sqoop数据迁移工具
- Sqoop教程(一) Sqoop数据迁移工具
- 【hadoop Sqoop】数据迁移工具 sqoop 入门
- 数据迁移工具sqoop简介
- 9、 数据迁移工具Sqoop
- Sqoop迁移工具的使用
- Sqoop学习笔记——关系数据库与hdfs间数据迁移
- hadoop之sqoop------>数据迁移工具
- Windows Azure 实操 —— 迁移本地SharePoint服务器到Azure
- sqlite 数据库实操
- Sqoop数据交互工具——笔记
- Flyway数据库迁移工具
- Mysql到HBase数据迁移-Sqoop工具方法
- RDBMS和HDFS, HIVE, HBASE的迁移工具Sqoop
- 2017.6.28 学习记录 Mysql的基础运用及代码
- 浅谈vue+webpack项目调试方法
- 使用Gitolite搭建轻量级的Git服务器
- Mac pro
- 深入理解bootstrap(转载)原文:http://blog.csdn.net/i10630226
- sqoop数据库迁移工具——实操
- 解决checkbox的attr(“checked”)undefined问题
- TCP协议与UDP协议的区别(转)
- c++STL的JAVA实现
- jsp内置对象
- 简单了解MVP
- 输入一个整数把每位数字转换为英文
- c语言实现三子棋——升级智能版
- Jquery.form.js 上传图片