sqoop1.99.7create job的注意点

别人博客本文大部分内容拷贝自”别人博客”,因为sqoop的交互实在太不友好了，针对创建job的实践中遇到的问题整理了下，以便有些同学也掉入坑中。红色部分是本人修改和补充(也是坑人需要着重说明)的地方。

以下是各个属性

Name：一个标示符，自己指定即可。

Schema Name：指定Database或Schema的名字，在MySQL中，Schema同Database类似，具体什么区别没有深究过，但官网描述在创建时差不多。这里指定数据库名字为db_ez即可，本例的数据库。

Table Name：本例使用的数据库表为tb_forhadoop，自己指定导出的表。多表的情况请自行查看官方文档。

SQL Statement：填了schema name和table name就不可以填sql statement。sql语句中必须包含${CONDITIONS}字样，一般是where 1=1 and ${CONDITIONS}

Partition column: 在填写了sql statement的情况下，必须填写，用以对数据分区,一般为可唯一标识记录的数字型字段。

Partition column nullable:

Boundary query:

Last value:

后面需要配置数据目的地各项值：

Null alue：大概说的是如果有空值用什么覆盖

File format：指定在HDFS中的数据文件是什么文件格式，这里使用TEXT_FILE，即最简单的文本文件。

Compression codec：用于指定使用什么压缩算法进行导出数据文件压缩，我指定NONE，这个也可以使用自定义的压缩算法CUSTOM，用Java实现相应的接口。

Custom codec：这个就是指定的custom压缩算法，本例选择NONE，所以直接回车过去。

Output directory：指定存储在HDFS文件系统中的路径，这里必须指定一个存在的路径，或者存在但路劲下是空的，貌似这样才能成功。

Append mode：用于指定是否是在已存在导出文件的情况下将新数据追加到数据文件中。

Extractors：大概是etl执行次数,比如填2，那么hdfs的输出中数据将会重复2次…依次类推

Loaders：决定了最后执行的reduce数量(可见下面的源码MapreduceSubmissionEngine.submit方法)

if(request.getLoaders() != null) {        job.setNumReduceTasks(request.getLoaders());      } else {        job.setNumReduceTasks(0);      }      job.setOutputFormatClass(request.getOutputFormatClass());      job.setOutputKeyClass(request.getOutputKeyClass());      job.setOutputValueClass(request.getOutputValueClass());

最后再次出现element#提示符，用于输入extra mapper jars的属性，可以什么都不写。直接回车。

至此若出现successful则证明已经成功创建。