Sqoop全量和增量导入数据到Oracle数据库

1，全量导入
示例：
–全量导入
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –hive-overwrite
2，追加导入
示例：
–追加导入
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp

3，增量导入
Sqoop提供了原生增量导入的特性，包含以下三个关键参数：
1）–check-column (col) 指定一个“标识列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型
2）–incremental (mode) 指定增量模式，包含“追加模式” append 和“最后修改模式” lastmodified
3）–last-value (value) 指定“标志列”上次导入的上界。
如果“标识列”是最后修改时间，则–last-value为上次执行导入脚本的时间

–增量导入 append模式示例：
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –incremental append –check-column ID –last-value 3

–增量导入 lastmodified模式示例：
sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table src_t_emp –incremental lastmodified –check-column LASTMODIFIED –last-value –last-value ‘2015-04-14 13:00:00’