Map的输出进行LZO压缩

1、先到这里下载 http://www.oberhumer.com/opensource/lzo/ lzo的最新发布版

2、配置 ./configure –enable-shared –prefix /usr/local/lzo-2.08

3、安装 make && sudo make install 

4、按照传统所有的liblzo*往/usr/lib下拷一份

接下来编译 hadoop-lzo ，先要从 https://github.com/twitter/hadoop-lzo/archive/master.zip  这下下来zip包，解压。然后

1、设置这个环境变量

C_INCLUDE_PATH=/usr/local/lzo-2.08/include

LIBRARY_PATH=/usr/local/lzo-2.08/lib

2、运行 mvn clean package  -Dmaven.test.failure.ignore=true

3. 把hadoop-lzo-0.4.20-SNAPSHOT.jar  copy到 $HADOOP_HOME/lib

core-site.xml

<property>       

      <name>io.compression.codecs</name>                          <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  

  </property>  

  <property>       

    <name>io.compression.codec.lzo.class</name>       

    <value>com.hadoop.compression.lzo.LzoCodec</value>    

  </property> 

</configuration>

mapred-site.xml

 <property>

        <name>mapred.compress.map.output</name>

        <value>true</value>

  </property>

  <property>       

      <name>mapred.map.output.compression.codec</name>        

      <value>com.hadoop.compression.lzo.LzoCodec</value>     

  </property>  

一下是转载：

1.需要使用root安装liblzo动态链接库

1. #root
   
2. 
   
3. scp hostname:/lib64/liblzo2.so.2.0.0  /lib64
   
4. 
   
5. cd /lib64/
   
6. 
   
7. ln -s liblzo2.so.2.0.0 liblzo2.so
   
8. 
   
9. ln -s liblzo2.so.2.0.0 liblzo2.so.2

复制代码

--检查下是否拷贝进去了

1. ls -l /lib64|grep lzo|wc -l
   
2. 
   
3. 3

复制代码

2.安装gpl jar包和本地库

1. su - 指定用户下
   
2. 
   
3. --jar
   
4. 
   
5. cp  ./hadoop-gpl-compression-0.1.0-dev.jar  $HADOOP_HOME/lib
   
6. 
   
7. -- local library
   
8. 
   
9. cp   ./Linux-amd64-64.tar   $HADOOP_HOME/lib/native
   
10. 
    
11. cp  ./Linux-i386-32.tar   $HADOOP_HOME/lib/native
    
12. 
    
13. 
    
14. cd $HADOOP_HOME/lib/native
    
15. 
    
16. 
    
17. tar -xf Linux-amd64-64.tar
    
18. 
    
19. tar -xf Linux-i386-32.tar
    
20. 
    
21. 
    
22. ls -l Linux-amd64-64|wc -l
    
23. 
    
24. ls -l Linux-i386-32|wc -l

复制代码

3.修改两个配置文件
cd $HADOOP_CONF_DIR

修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml

1. <property> 
   
2. 
   
3.   <name>io.compression.codecs</name> 
   
4. 
   
5.   <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value> 
   
6. 
   
7. </property> 
   
8. 
   
9. <property> 
   
10. 
    
11.   <name>io.compression.codec.lzo.class</name> 
    
12. 
    
13.   <value>com.hadoop.compression.lzo.LzoCodec</value> 
    
14. 
    
15. </property>

复制代码

修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)

1.   <property>
   
2. 
   
3.     <name>mapred.reduce.slowstart.completed.maps</name>
   
4. 
   
5.     <value>0.3</value>
   
6. 
   
7.   </property>
   
8. 
   
9.   <property> 
   
10. 
    
11.     <name>mapred.compress.map.output</name> 
    
12. 
    
13.     <value>true</value> 
    
14. 
    
15.   </property> 
    
16. 
    
17.   <property> 
    
18. 
    
19.     <name>mapred.map.output.compression.codec</name> 
    
20. 
    
21.     <value>com.hadoop.compression.lzo.LzoCodec</value> 
    
22. 
    
23.   </property>  

复制代码