Hadoop 的lzo压缩尝试

具体设置见那两个网页，一个是hadoop-gpl-compression 的wiki,一个是[hadoop系列]hadoop-gpl-compression的安装和编译

切记要

<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>

<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

 

用了lzo压缩之后，由平均4：15左右降低到3：50左右。依然是4G的PageRank。