基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩

来源:互联网 发布:青天白日t恤 淘宝 编辑:程序博客网 时间:2024/05/20 13:18

基于Cloudera Manager5.7配置MapReduce与HiveOnSpark压缩


1、Yarn配置MapReduce的输压缩

1) 输出采用gzip压缩



2)中间结果的计算采用snappy的压缩



2、HiveOnSpark的压缩配置


1) hive结果的输出采用gzip

2) spark中间计算默认采用的是snappy压缩


1 0