sqoop常用指令

来源:互联网 发布:武汉市广电网络分公司 编辑:程序博客网 时间:2024/05/21 09:43

import ##表示导入
–connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
–username root ##连接mysql的用户名
–password admin ##连接mysql的密码
–table aa ##从mysql导出的表名称
–query “select * from table”##表示需要查询的语句
–fields-terminated-by ‘\t’ ##指定输出文件中的行的字段分隔符
-m 1 ##复制过程使用1个map作业
Argument Description
–append 如果hdfs已经存在某文件的时候,使用该命令可以实现追加
–as-avrodatafile 把数据导入成avro(二进制文件)格式
–as-sequencefile Imports data to SequenceFiles
–as-textfile 把导入的数据转换成平面文件
–as-parquetfile 把导入的数据转换成parquet格式
–boundary-query 边界查询,也就是在导入前先通过SQL查询得到一个结果集,然后导入的数据就是该结果集内的数据,格式如:–boundary-query ‘select id,creationdate from person where id = 3’,表示导入的数据为id=3的记录,或者select min(), max() from

,注意查询的字段中不能有数据类型为字符串的字段,否则会报错:java.sql.SQLException: Invalid value for
–columns

0 0
原创粉丝点击