Mapreduce 优化策略
来源:互联网 发布:点点客 知乎 编辑:程序博客网 时间:2024/06/05 19:11
优化策略
- 优化Map和Reducer数量。
- 输入,大文件优于小文件。
- 减少网络传输(尤其是shuffle阶段):压缩或combiner
设置相关参数。
map端:
Map输出并非简单输出到磁盘,而是缓冲的方式写入内存并做预排序。当缓冲区满了则刷入磁盘。 缓冲区占用内存空间的大小,此处可以调优
Mapreduce.task.io.sort.mb 设置缓冲区大小mapreduce.map.sort.spill.percent设置缓冲区写数据百分比
Map缓冲区每刷一次磁盘,产生一个溢出文件。Map输出结束后,所有溢出文件会被合并为一个已分区且已排序的 输出文件。
mapreduce.task.io.sort.factor
控制合并线程的数量
将压缩后的map结果输出可以减少磁盘写入 量和网络传输量。
Mapreduce.map.output.compress
对map输出结果做压缩,数据占用存储空间减小,网络传输减少
Reduce端:
只要有一个map任务完成,reduce便开始复制其输出,reduce有少量的线程做复制。复制完所有map输出后,reduce便会进入合 并阶段。合并后的数据作为reduce输入。
Mapreduce.reduce.shuffle.parallelcopies
控制从map端拷贝数据的线程数量
Combiner
集群上最紧俏的资源便是网络带宽,因此尽量减少map和reduce阶段的网络传输对MapReduce的性能提升是很重要的。
Hadoop为map任务的输出指定了一个合并函数:combiner
Combiner的实现和reduce是一样的,继承于reducer
在Job.setCombinerClass()要指定combiner类,combiner将map输出结果做一个合并,函数的输出作为reduce的输入
例如:map输出结果{(6,1),(7,1),(6,1),(6,1)},统计每个数字出现的次数。 没有combiner函数时,到reduce的输入数据为: {(6,1),(7,1),(6,1),(6,1)} 增加了Combiner函数后,到reduce的输入数据为{(6,3)(7,1)} 依次,如果在大量数据的情况下,这样可以减少很大的网络传输。
※注意:并不是所有的场合都适合做combiner,例如AVG。 例如:计算平均值,得到的结果是不正确的
有combiner后的reduce结果:avg(avg(0,10,20),avg(15,25))=15 错误
没有combiner后的reduce结果:avg(0,10,20,15,25)=14 正确
压缩
压缩可以发生在三个地方:
- 输入数据压缩、
- map输出压缩(关键,涉及到shuffle,网络传输)
- reduce输出压缩。
压缩的优点:减少网络I/O,减少磁盘占用。
压缩的缺点:增加CPU计算量。
MapReduce中配置压缩:
输入文件的压缩
MapReduce会根据文件后缀自动识别使用哪种压缩解码器。
输出压缩:
mapreduce.output.fileoutputformat.compress 是否启动压缩(TRUE/FALSE)
mapreduce.output.fileoutputformat.compress.type(block/Row) 压缩类型(块/行)
mapreduce.output.fileoutputformat.compress.codec 指定压缩格式
Map输出压缩
mapreduce.map.output.compress 是否启动压缩(TRUE/FALSE)mapreduce.map.output.compress.codec 指定压缩格式
参数配置方法:
Configuration对象set方法传入参数
- Mapreduce 优化策略
- mapReduce大量小文件的优化策略
- 【Hadoop】MapReduce笔记(四):MapReduce优化策略总结
- mapreduce关于大量小文件的优化策略
- MapReduce优化
- mapreduce优化
- MapReduce优化
- mapreduce优化
- MapReduce优化
- mapreduce优化
- MapReduce优化
- Mapreduce中文处理策略
- MapReduce 本地化优先策略
- MapReduce优化----几个优化
- 优化策略
- MapReduce基本调优策略
- MapReduce性能优化---调度
- MapReduce优化----宏观hadoop
- C语言第二次作业练习
- 博客
- reactNative中React组件的生命周期
- SDKD 2017 Spring Team Training A---E
- 一棵树的css
- Mapreduce 优化策略
- VirtualBox虚拟机安装Ubuntu简易教程(摄像头和复制粘贴功能的开启)
- 错误:ORA-28002: the password will expire within 7 days 解决方法
- C语言第三次作业练习
- Python-参数传递机制
- 数据分析运营---A/B测试中20个必须知道的问题
- 分布式架构的演进过程
- Hibernate的事务处理和二级缓存
- 找出十个最小的连续自然数,它们个个都是合数(非素数)。