mapreduce数据压缩
来源:互联网 发布:淘宝艺术照服装 编辑:程序博客网 时间:2024/06/05 14:50
概述
这是mapreduce的一种优化策略:通过压缩编码对mapper或者reducer的输出进行压缩,以减少磁盘IO,提高MR程序运行速度(但相应增加了cpu运算负担)
1、 Mapreduce支持将map输出的结果或者reduce输出的结果进行压缩,以减少网络IO或最终输出数据的体积
2、 压缩特性运用得当能提高性能,但运用不当也可能降低性能
3、 基本原则:
运算密集型的job,少用压缩
IO密集型的job,多用压缩
4.3.2 MR支持的压缩编码
4.3.3 Reducer输出压缩
在配置参数或在代码中都可以设置reduce的输出压缩
1、在配置参数中设置
mapreduce.output.fileoutputformat.compress=false
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.DefaultCodec
mapreduce.output.fileoutputformat.compress.type=RECORD
2、在代码中设置
Job job = Job.getInstance(conf);
FileOutputFormat.setCompressOutput(job, true);
FileOutputFormat.setOutputCompressorClass(job, (Class
阅读全文
0 0
- mapreduce数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- 数据压缩
- Hadoop On Yarn Mapreduce运行原理与常用数据压缩格式
- Hadoop On Yarn Mapreduce运行原理与常用数据压缩格式
- 数据压缩 -- 源码
- 数据压缩 -- 应用
- 无损数据压缩
- 关于数据压缩
- 数据压缩技术
- Mapreduce中的分区Partitioner
- 大数据基本概念
- 字节对齐和位域
- hibernate--MYSQL建表时type=InnoDB和Engine=InnoDB注意点
- Redux或mobx:给我们带来的革新
- mapreduce数据压缩
- Java高级之数据库编程
- c语言基础——指针数组
- The effect of parameter class_weight on linear SVM classifier
- `## 将一个整数插入到已经按从小到大排序好的整型数组里##
- CountDownLatch
- 暑假没有写题第八天
- java学习笔记(3)
- github排版混乱的解决方法