sqoop 和mysql相关操作
来源:互联网 发布:安藤忠雄小筱邸数据 编辑:程序博客网 时间:2024/05/29 13:20
数据迁移工具,可以和RDBMS相互迁移数据
需要先将db driver copy to sqoop lib dir
注意:
sqoop是以mapreduce的方式来运行任务的,用hdfs来存储数据的。所以依赖NameNode和ResourceManager,只要机器上配置了这两个就可以正常运行,程序运行时会自动读取环境变量.
// 导出car数据库中的carinfo表到hdfs的user里面
sqoop import --connect jdbc:mysql://192.168.32.1:3306/car --username root --password bill --table carinfo
// 导出到/sqoop/file(hdfs上)
--target-dir /sqoop/file
使用2个map任务来跑
-m 2
使用制表符作为分隔符
--fields-terminated-by '\t'
只导出id和name列
--columns "id,name"
带上过滤条件
--where 'id > 2 and id <= 9'
带上查询语句,加上了query必须要带上这个 $CONDTIONS:动态拼接条件
--query ‘select * from user where id > 100 and $CONDTIONS’
// 根据trande_detail.id来分给不同的map,在map多个的时候需要指定
// 单个map不需要加这个选项
--split-by trande_detail.id
案例:
sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --username root --password bill --target-dir /sqoop/table/radiotype/all/ --fields-terminated-by '\t' --table radiotype
sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --where 'id >= 3 and id <= 5' --target-dir /sqoop/table/radiotype/id3-5_03/ --fields-terminated-by '\t' -m 2 --table radiotype --username root --password bill
// 上面 -m 2居然没用,但是改成1又有用,待解决。!
将h1数据库中的radiotype表的记录导出到/sqoop/table/radiotype/assign-columns中,只导出(id,typename,imageurl)字段
sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --table radiotype --target-dir /sqoop/table/radiotype/assign-columns/ --columns 'id,typename,imageurl' --fields-terminated-by '^' -m 4 --username root --password bill
sqoop import --connect jdbc:mysql://192.168.32.1:3306/h1 --target-dir /sqoop/table/radiotype/custom_sql/ --username root --password bill --fields-terminated-by '标' --query 'select * from radiotype where id > 1 and $CONDITIONS' -m 1
// 使用query时,要带上$CONDITIONS 若是使用多个map需要手动指定--split-by ,否则会报错
sqoop import --connect jdbc:mysql://192.168.32.1/h1 --username root --password bill --query 'select * from radiotype where id != 3 and $CONDITIONS' --target-dir /sqoop/table/radiotype/custom_sql_02 --fields-terminated-by '^' -m 4 --split-by radiotype.id
sqoop export --connect jdbc:mysql://192.168.32.1/h1 --table radiotype_export --export-dir /sqoop/table/radiotype/custom_sql/ --username root --password bill --fields-terminated-by '标'
0 0
- sqoop 和mysql相关操作
- sqoop 相关系列,基本操作
- Sqoop进行MySQL和Hive间的导入导出操作
- MySQL相关查询和操作
- [Sqoop]利用sqoop对mysql执行DML操作
- MySQL RPM包安装和相关操作
- MYSQL用户和权限的相关操作
- mysql库和表的相关操作
- SQOOP 操作
- Sqoop:连接MySQL和Hadoop的桥梁
- 简易串联,mysql,hive和sqoop
- Sqoop和mysql之间传输数据
- sqoop简单操作-从mysql导入导出数据
- 使用sqoop做Mysql与Hive数据互倒操作
- sqoop简单操作-从mysql导入导出数据
- mysql相关操作
- MySQL 相关操作集锦
- Mysql相关操作
- aspose.cells单元格的货币符显示,颜色及赤字显示
- LINUX --- 中断 --- INT 0x13
- 访问带有用户名、密码保护的 URL
- SVN服务器搭建和使用(一)
- 初级程序员应该看一看的,还是不错的
- sqoop 和mysql相关操作
- Binary Search Tree 二叉搜索树
- Java-ThreadLocal的简单例子
- 4.2-1
- CentOS6.4配置163的yum源
- SVN服务配置
- JavaScript实现单链表
- Swift#使用字典实现属性列表的存储
- Android学习 - 网络编程的理解