Sqoop学习笔记 --- 过滤空值以及特殊格式

来源:互联网 发布:k近邻算法 编辑:程序博客网 时间:2024/06/06 10:53

一、在使用Sqoop的时候常看到在使用的时候在目的数据库中出现 NULL值,本来源表是空,而目的数据库中的表信息确是null


为了避免这种情况,我们可以使用:

--null-string ' ' --null-non-string ' ' 

来过滤空字符串以及空值。

除了这种方式,参数还可以是:


  • \b (backspace)
  • \n (newline)
  • \r (carriage return)
  • \t (tab)
  • \" (double-quote)
  • \\' (single-quote)
  • \\ (backslash)
  • \0 (NUL) 

二、为了防止数值中包含 \n,\r 等特殊字符的出现,这里使用


--hive-drop-import-delims


来过滤特殊的换行等字符。

0 0
原创粉丝点击