hive导入数据丢失问题

来源:互联网 发布:代理服务器ip和端口 编辑:程序博客网 时间:2024/05/01 15:41

最近在做批量导入转换数据时,出现了部分数据丢失情况,最后经过检查发现,数据里在某个字段进行转换时,

出现了回车符,导致最终数据出来16列,但是目标表只有8列,所以数据就被多出来的8列数据给覆盖了,导致数据丢失(因涉及数据安全问题,这里就不方便进行截图了)。

解决方式:

就是在UDF里将回车符给替换掉即可。例子如下:
str.replaceAll("[\\n | \\r]","");