sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段
来源:互联网 发布:平安科技待遇 知乎 编辑:程序博客网 时间:2024/06/07 20:45
1、在执行Sqoop从oracle和mysql导数到hive中时,出现hive数据错位,并产生很多null值:
原因是源数据中包含许多'\n'、'\r'、'\01'等字符,表在分割字段和行过程中出现错位;
解决方式:在Sqoop执行中增加属性–hive-drop-import-delims,在导入数据到hive中时,去掉数据中\n,\r和\01这样的字符;
--hive-drop-import-delims --lines-terminated-by '\n'
--hive-drop-import-delims 的意思是指:delims Drops \n, \r, and \01 from string fields when importing to Hive.
2、clob类型字段中保存了json格式数据和xml格式,在导入hive之后,数据被截取成一小段一小段:
原因:clob类型中保存的数据有xml报文和json字符串,包含大量换行符,表在分割字段和行过程中出现错位。
解决方式:在Sqoop执行中增加--map-column-java "SEND_MSG=String,RECV_MSG=String"属性和值
阅读全文
0 0
- sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段
- Sqoop工具使用(一)--从oracle导入数据到hive
- 一小段XML Schema
- 一小段回忆
- 一小段总结
- 一小段jsp代码
- 一小段摘抄
- 一小段html5代码
- 一小段puzzling的代码
- 一小段程序中的问题
- 一小段代码看内存
- 一小段四则运算的代码
- 小段
- 从Hive导出数据到Oracle数据库--Sqoop
- oracle clob类型截取值
- 有关消息映射的一小段代码
- 引自Xinsoft的一小段话!
- 改动鼠标形状的一小段代码
- java中的volatile和synchronized
- scala访问修饰符
- Bell HDU
- onFailure unexpected end of stream
- HDU
- sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段
- 大数相乘模板
- Java中的浅克隆和深克隆
- linq比较日期的方式
- 静态成员和静态成员函数
- eclipse打开properties配置文件中文显示字符的编码
- RocketMQ实战(二)
- LeetCode(17)--Letter Combinations of a Phone Number
- Mac anaconda OpenCV环境配置