大数据Sqoop_09
来源:互联网 发布:数据脱敏的主要方法 编辑:程序博客网 时间:2024/06/05 06:44
Sqoop简介
Sqoop框架:作用就是用来将结构化数据与HDFS数据(非结构化数据)的相互转换。
主要用于在Hadoop(Hive)与传统数据库(mysql)间进行数据的传递。
应用场景:随着数据量的增加关系数据库中的数据需要导到HDFS时,就得使用此框架(只需一个命令)。
注意: Sqoop的底层实现就是Mapreduce 。它有着自己的语法,一旦运行它会把其转换为mapreduce,然后把Mapreduce提交给yarn,在yarn上执行Mapreduce。说白了Sqoop就是一个工具,它可以将自己的语法转换为Mapreduce,不需要用户在额外的书写Mapreduce。
Sqoop安装与数据的转移
安装:在weekend08机器中安装sqoop到local目录下
sqoop安装:
安装在一台节点上就可以了。
1.上传sqoop
2.安装和配置
--在添加sqoop到环境变量
--将数据库连接驱动拷贝到$SQOOP_HOME/lib里
--重命名conf中的sqoop-env-template.sh 为 sqoop-env.sh
--sqoop-version 验证安装的版本
--sqoop list-databases -connect jdbc:mysql://weekend08:3306/ --username root --password hadoop
3.使用
第一类:数据库中的数据导入到HDFS上
sqoop import --connect jdbc:mysql://weekend08:3306/result_db --username root --password hadoop --table dimension_date --columns 'id, year, season,month,week,day,calendar,type'
指定输出路径、指定数据分隔符
sqoop import --connect jdbc:mysql://weekend08:3306/result_db --username root --password hadoop --table dimension_date --target-dir /sqoop/td --fields-terminated-by '\t'
指定Map数量 -m
sqoop import --connect jdbc:mysql://weekend08:3306/itcast --username root --password 123 --table trade_detail --target-dir /sqoop/td1 --fields-terminated-by '\t' -m 2
增加where条件, 注意:条件必须用引号引起来
sqoop import --connect jdbc:mysql://weekend08:3306/itcast --username root --password 123 --table trade_detail --where 'id>3' --target-dir '/sqoop/td2'
增加query语句(使用 \ 将语句换行)
sqoop import --connect jdbc:mysql://weekend08:3306/itcast --username root --password 123 \
--query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'
注意:如果使用--query这个命令的时候,需要注意的是where后面的参数,AND $CONDITIONS这个参数必须加上
而且存在单引号与双引号的区别,如果--query后面使用的是双引号,那么需要在$CONDITIONS前加上\即\$CONDITIONS
如果设置map数量为1个时即-m 1,不用加上--split-by ${tablename.column},否则需要加上。
第二类:将HDFS上的数据导出到数据库中(不要忘记指定分隔符)
sqoop export --connect jdbc:mysql://weekend08:3306/result_db --username root --password hadoop --export-dir '/sqoop/td' --table dimension_date -m 1 --fields-terminated-by ','
总结:上述的执行命令语句,可以单独放在一个文件中,然后通过 sqoop -- option -file 文件名 命令执行。
- 大数据Sqoop_09
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- 大数据
- vivado xilinx 网盘资料
- Linux IPC 2之管道
- 我理解的Handler,messageQueue,Looper,Messager,HandlerThread.
- Go Get安装一些第三方库-网络问题
- 用Qt实现基于网络请求的用户登录(二)
- 大数据Sqoop_09
- 0x5f3759df的数学原理 ----一种快速开方根求倒原理
- JS阻止事件冒泡兼容各浏览器
- 分布式系统的高效运维要点
- 截取视频图片
- poj 1236 Network of Schools 强连通分量
- POJ3259 判断是否存在负权环
- CCF-20161201-中间数(100分)
- 通过 SSH 实现 TCP / IP 隧道(端口转发)