Greenplum外部表问题解决一例
来源:互联网 发布:ubuntu显示root权限 编辑:程序博客网 时间:2024/05/20 07:33
Greenplum数据库好久不用都有些生疏了,今天在处理个数据分析需求时,碰到个问题,记录下排查过程。
外部表建好后,查询时爆出如下错,(一惊,好久没碰到问题了)
ERROR: All 1000 first rows in this segment were rejected. Aborting operation regardless of REJECT LIMIT value. Last error was: invalid byte sequence for encoding "UTF8": 0xc8dd (seg0 slice1 sdw1:40000 pid=28307)
DETAIL: External table zx_temp_dnslog, file gpfdist://smdw:8003/100*.bak
原以为是字符集的问题,查了GP库的字符集,客户端的字符集等,改了GBK等等,没解决!!
查看数据文件,file下数据文件,一看傻眼了,原来是gzip的文件,但是文件末尾没有带.gz
问题应该就是这了,
将文件名批量改为.gz后,外部表查询正常。
原因:GP外部表在使用压缩文件作为引用数据时,会使用gzip进行解压的,
如果在操作系统下,使用gzip 解压一个不带.gz的文件,也是不认的。
gzip: asaa.txt.bak: unknown suffix -- ignored
--asaa.txt是gzip后的改名文件。
0 0
- Greenplum外部表问题解决一例
- greenplum创建外部表
- GreenPlum创建外部表示例
- greenplum创建外部表笔记-readable篇
- 在Greenplum外部表中使用HDFS
- postgresq通过l外部表连接greenplum
- GreenPlum 外部表external table 实战
- GreenPlum 可读写外部表 实战
- greenplum通过hdfs访问外部表
- Greenplum中通过外部表进行数据导入导出
- Greenplum中创建外部表进行数据导出
- Greenplum中通过外部表进行数据导入导出 .
- 转:greenplum使用gpfdist与外部表高效导入数据
- GREENPLUM在HADOOP上的可写外部表和可读外部表
- greenplum一例子
- GreenPlum学习(一)
- GREENPLUM中使用脚本导出非外部表的表结构
- 通过fuse使greenplum外部表能使用HDFS上的文件
- 黑马入学测试—基础—IO流
- express-session deprecated undefined resave option; provide resave option app.js :16:9
- 调用得到系统图库及摄像得到图片
- java中两个日期相隔的天数和月数
- iOS 网络编程模式总结
- Greenplum外部表问题解决一例
- css3三级下拉导航
- centOS6.6 搭建solrcloud5.3.1
- C语言:Day7~Day8
- 计算机的理解(个人知识架构的形成)
- git用法小结(1)--建立远程仓库
- Linux Crontab 安装使用详细说明
- Maven配置备忘
- 360笔试题 找老乡