hive建表没使用LZO存储格式,但是数据是LZO格式时遇到的问题
来源:互联网 发布:mac unity5 破解 编辑:程序博客网 时间:2024/06/03 19:10
今天微博大数据平台发邮件来说,他们有一个hql运行失败,但是从gateway上面的日志看不出来是什么原因导致的,我帮忙看了一下,最后找到了问题的原因,以下是分析过程:
1、运行失败的hql:
INSERT OVERWRITE TABLE brand_ad_user_with_interact_score_3 select a.uid, a.brand, a.friend, CASE b.weight WHEN NULL THEN '0.000000' ELSE b.weight ENDfrom brand_ad_2hop_3 aLEFT OUTER join ods_bas_user_interact_score_to_thin_3 bon (a.uid = b.fid and a.friend = b.tid);该hql很简单,就是两个表关联,然后输出到另外一个表中,是一个普通的common join,没有group by等操作,所以不存在map的数据倾斜问题
2、查看job日志
根据50030页面查看了一下该job的状态和日志信息,job的状态是被kill掉的,map任务还未运行完成就被kill掉了,被kill掉的map任务运行时间都超过了10个小时,如下图所示:
根据1中得分析,该job从hql上面看是不存储数据倾斜的,那为什么会出现单个map运行时间超过10小时的情况呢,查看了一下被kill掉map任务的counter信息,如下:
竟然单个map任务从hdfs上面读了10G的数据,不应该啊,难不成被处理的数据文件没被分片,单个map任务处理了单个的大文件,怀揣着这样的猜测,我去检查了一下hql里面两个表目录下面的文件,果不其然,下面全是lzo格式的文件,但是都没有建索引,而且
brand_ad_2hop_3表下面个别单个文件达到了10G+,应该就是这个原因了:lzo格式的文件没有建索引,数据文件不能被分片,导致在运行的时候,单个的文件只能由一个map任务处理,如果单个文件很大的情况下,map任务就会处理很长时间。
在检查了一下brand_ad_2hop_3的建表语句,发现存储格式为Text。
既然找到了问题原因,以下就是解决办法了:
(1)、给lzo文件建立索引
(2)、建表的时候请使用LZO存储格式
0 0
- hive建表没使用LZO存储格式,但是数据是LZO格式时遇到的问题
- hive 使用lzo遇到的一个奇怪的问题
- 使用hive 对lzo数据分析时的报错
- hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据);HADOOP存储数据压缩方案对比(LZO,gz,ORC)
- hadoop lzo格式
- hive lzo 乱码问题
- hive中使用lzo
- Spark读Lzo压缩格式的文件
- hadoop hive的lzo总结
- hadoop中使用lzo压缩格式支持笔记
- hadoop处理lzo格式的压缩文件报错
- Hive的数据存储格式
- Hive开发例子- lzo方式存储
- lzo
- LZO
- flume 写入hdfs 采用lzo 格式 教程
- hadoop streaming python 处理 lzo 文件遇到的问题
- hadoop-lzo-master 编译过程中遇到的问题
- linux 命令总结
- How to debug ARM binary under x86 linux box
- Android-ViewPagerIndicator使用:--TabPageIndicator浅析
- ubuntu12.04移植qt PAIS程序
- Linux 在mount 后的磁盘分区 不能执行二进制文件
- hive建表没使用LZO存储格式,但是数据是LZO格式时遇到的问题
- java的动态代理
- 抽象工厂模式随记
- 自定义view,实现上下滑动
- 网上看到的java学习路线
- MavenPropertiesGuide
- 第七周项目三 求圆柱表面积
- 实验室第四周工作报告
- Mark: uboot , linux 等一些重要的FTP