GP通过外部表装载数据时遇到ERROR:extra data after last expected column解决方法
来源:互联网 发布:淘宝用淘金币卖家亏吗 编辑:程序博客网 时间:2024/05/17 09:19
一般通过hive -e导出文本时,我都习惯把比较容易出错的String类型字段做一次regexp_replace()处理,
因为如果字段里面含有制表符,那是一件很坑很坑的事。
hive -e "select regexp_replace(String_Col1,'\t',''),Date_Col2,Integer_Col3 ... from hivedb.export_table" | sed 's/\t/\x01/g;s/\\/\\\\/g;s/\x00//g' >.../export_table.txtGP中新建外部表,根据之前把\t替换掉的分隔符x01来分隔,屡试不爽,成功率99.99%
drop external table if exists product_ext.export_table_ext;create external table product_ext.export_table_ext(String_Col1 varchar(1000),Date_Col2 date,Integer_Col3 integer,...)LOCATION ('gpfdist://xxx.xxx.xxx.xxx:port/.../export_table.txt')FORMAT 'TEXT' (DELIMITER E'\x01'); --irview_vt即使sed 's/\t/\x01/g;s/\\/\\\\/g;s/\x00//g'处理过,分隔符按照\x01处理,今天还是遇到了0.01%的失败,下面是解决方法:
根据错误信息,定位到含有出错字符串的行,备份到一个临时文件,实际上也就发现了一行有错误,没办法,只能查找删除它
more rid_mac_201735to38w.txt | grep 'jQTIJWkiyytg97PCjh5U' > rid_mac_falsedata.txt把包含错误(也就是通过外部表映射到内部表出错)信息的行删除掉
sed -i '/jQTIJWkiyytg97PCjh5U/d' rid_mac_201735to38w.txt此时,就能正常插入了
Query returned successfully: 302060132 rows affected, 26.6 secs execution time.
附.
sed命令_Linux sed 命令用法详解
阅读全文
0 0
- GP通过外部表装载数据时遇到ERROR:extra data after last expected column解决方法
- GP中外部表数据装载
- json读取数据:ValueError: Extra data: line 77 column 2
- 使用Vue.js加sass时遇到 Invalid CSS after ".xxx{": expected "}", was "{" 错误的解决方法
- 使用ORACLE外部表装载复杂数据
- ERROR 1406 (22001): Data too long for column 解决方法
- ERROR 1406 (22001): Data too long for column 解决方法
- ERROR 1265 (01000): Data truncated for column 解决方法
- GP 外部表
- parsing error:expected ")" 解决方法
- GP加载和卸载数据之一外部表
- 测试创建GP外部表
- GP中外部表例子
- Oracle database 使用外部表装载数据 理论试验
- simplejson.scanner.JSONDecodeError: Extra data: line 1 column 22089 - line 1 column 22090
- Confluence迁移中遇到的问题(Data too long for column 'STRINGVAL')及解决方法
- Mysql 中ERROR 1406 (22001): Data too long for column 解决方法
- [eclipse]Syntax error on token ";",{ expected after this token
- codeforces 570A【python】
- Linux基本命令详解
- 输入一个三位数的整数
- 时光机穿梭
- 横向越权与纵向越权
- GP通过外部表装载数据时遇到ERROR:extra data after last expected column解决方法
- 求和
- arcgis for javascript 版本切换时部分笔记
- NOIP2017赛前模拟 (2017.10.17)考试总结
- 1017作业2
- Material Design风格控件之CoordinatorLayout的简单使用
- C语言_数组初识总结
- 随机数,张三李四掷骰子,两个数系统判断胜者,
- 全屏显示