Sqoop导入hive分隔符问题
来源:互联网 发布:常见的网络硬件有哪些 编辑:程序博客网 时间:2024/06/07 01:09
分类:
Sqoop从Oracle导入数据到Hive,示例:
如果不加其他参数,导入的数据默认的列分隔符是'\001',默认的行分隔符是'\n'。
这样问题就来了,如果导入的数据中有'\n',Hive会认为一行已经结束,后面的数据被分割成下一行。这种情况下,导入之后hive中数据的行数就比原先数据库中的多,而且会出现数据不一致的情况。
Sqoop也指定了参数 --fields-terminated-by和 --lines-terminated-by来自定义行分隔符和列分隔符。
可是当你真的这么做时.........o(╯□╰)o就会出现如下错误:
也就是说虽然你通过--lines-terminated-by指定了其他的字符作为行分隔符,但是hive只支持'\n'作为行分隔符。简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的分隔符去掉。
0 0
- Sqoop导入hive分隔符问题
- Sqoop导入hive分隔符问题
- Sqoop导入hive注意事项
- Sqoop增量导入Hive
- Sqoop导入hive注意事项
- hive多分隔符问题
- Hive数据导入预处理-分隔符处理
- sqoop 从mysql导入hive的字段名称问题
- 使用sqoop导入导出mysql、hdfs、hive出现的问题
- 工作中,sqoop导入导出hive,mysql 出现的问题.
- sqoop导入数据到hive
- sqoop导入数据到hive
- SQOOP导入hive表报错
- Sqoop导入数据到Hive
- Sqoop MySQL 导入到Hive
- sqoop导入数据至hive
- Oozie调度sqoop导入hive
- Hive数据导入、sqoop数据导入导出
- android下dev设备的权限问题
- JAVA正则表达式
- 8大排序算法
- 通过URL打开APP
- Kubernetes 1.5版本之简单安装
- Sqoop导入hive分隔符问题
- MySql事务
- Activity保存状态(一)
- server_sql 面试题1
- iconfont loading animate
- Deprecated: Automatically populating $HTTP_RAW_POST_DATA is deprecated and will be removed in a futu
- java语言 验证码解析 图片大小转化
- Java设计模式——代理模式实现及原理
- 二次封装函数