sqoop 使用小计

来源：互联网发布：淘宝店铺不显示所在地编辑：程序博客网时间：2024/05/21 02:49

HIVE导出空值\N ,sqoop 导入数据库中时，可能\N字符串无法转换对应类型

–input-null-non-string \N –input-null-string \N

sqoop操作的时候会生成queryresult.jar提交任务，当并行操作有异常冲突

–class-name jarName

经常遇见的split数量不对问题，CombineFileInputFormat

[org.apache.sqoop.tool.ExportTool.run(ExportTool.java:102)] - Encountered IOException running export job: java.io.IOException: Max block location exceeded for split:…. splitsize: 12 maxsize: 10

设置
-D mapreduce.job.max.split.locations=100

mapreduce.job.max.split.locations 10
The max number of block locations to store for each split for locality calculation.

mysql导出日期类型格式

datetime timestatmp 年月日时分秒
yyyy-MM-dd HH:mm:ss
date
yyyy-MM-dd

重复数据

由于task失败导致重试问题，造成数据重复
–update-key id –update-mode allowinsert

0 0