hive merge小文件
来源:互联网 发布:知乎机构号注册 编辑:程序博客网 时间:2024/05/29 17:09
当Hive输入由很多个小文件组成,由于每个小文件都会启动一个map任务,如果文件过小,以至于map任务启动和初始化的时间大于逻辑处理的时间,会造成资源浪费,甚至OOM。
为此,当我们启动一个任务,发现输入数据量小但任务数量多时,需要注意在Map前端进行输入合并
当然,在我们向一个表写数据时,也需要注意输出文件大小
1. Map输入合并小文件
对应参数:
set mapred.max.split.size=256000000; #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #执行Map前进行小文件合并
在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后,一个data node节点上多个小文件会进行合并,合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~
2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时,启动一个独立的map-reduce任务进行文件merge
Reference:
Hive AdminManual
- hive merge小文件
- hive merge小文件
- hive merge小文件
- hive merge小文件
- hive merge小文件
- hive merge小文件
- Hive merge(小文件合并)
- hive 小文件的合并 hive.merge.mapredfiles
- hive小文件合并
- Hive小文件合并
- hive合并小文件
- hive 小文件合并
- Hive小文件合并
- Hive 合并小文件
- hive合并小文件
- hive合并小文件
- hive小文件问题及hive小文件合并
- Hive小文件合并调研
- 第5周 Map-Reduce编程实战,eclipse与Hadoop集群连接
- 网络编程
- UIViewController Class 参考3 (Testing for Specific Kinds of View Transitions,Configuring the View’s L)
- 黑马程序员——学习笔记20.Java动态代理
- 关于linux路由表
- hive merge小文件
- Office文件格式
- 医学影像图像处理若干关键问题的研究——开题报告
- Word操作自定义类
- 用C语言实现类似“cp file1 file2”命令
- 十步完全理解SQL
- Python常见文件操作示例
- Pro*C/C++ 学习笔记(一)
- c++类的初探