cdh5安装 lzo

来源:互联网 发布:linux 搭建cdn 编辑:程序博客网 时间:2024/06/04 18:06
下载
http://archive.cloudera.com/gplextras5/parcels/5.7.2/
GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel 

GPLEXTRAS-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1

在cm中安装完毕后修改HDFS配置

在io.compression.codecs属性值中追加如下值:
com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec

修改YARN配置
将mapreduce.application.classpath的属性值增加一项:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

修改MR应用程序环境
将mapreduce.admin.user.env的属性值,后面增加一部分:
:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
0 0