hadoop使用lzo压缩文件笔记 (cdh3u0)

编译LZO

下载：

 

http://www.oberhumer.com/opensource/lzo/download/

 wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

 安装：

tar -zxflzo-2.06.tar.gz

cd lzo-2.06

./configure --enable-shared 

make

make install

 

安装ant并配置环境变量，这里略过

vi /etc/profile 

PATH=/usr/local/ant/bin/:$PATH

source/etc/profile

 

编译hadoop lzo jar

下载源码

 

https://github.com/kevinweil/hadoop-lzo直接下载zip包，如果git clone下来好像ant有错误（需要再验证）

 

解压缩、进入项目目录

略...

编译

# 32位OS

export JAVA_HOME=/path/to/32bit/jdk 
export CFLAGS=-m32 
export CXXFLAGS=-m32 
ant compile-native tar

 

# 64位OS
export JAVA_HOME=/path/to/64bit/jdk 
export CFLAGS=-m64 
export CXXFLAGS=-m64 
ant compile-native tar

 

成功编译后，打开build文件夹，hadoop-lzo*.jar就躺在里面。

 

编译LZOP

简介：这个东西是使用lzo库写的一个程序，用它可以压缩、解压缩文件。

 

下载

http://www.lzop.org/

http://www.lzop.org/download/lzop-1.03.tar.gz

 

解压缩、进入项目目录（略过）

编译

cp /usr/local/lib/*lzo* /usr/lib64/ （这里也copy了/usr/lib）

./configure&& make && make install (make install 需要 sudo)

 

PS：我在64bit机器上编译发现找不到 lzo 的库，执行下面命令后再编译就OK了。

exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/

 

try lzop

# 压缩文件

lzop 20110915.log#生成lzop 20110915.log.lzo文件

# 解压，并输出文件内容

lzop -cdpv.txt.lzo |more

 配置Hadoop

 Xml代码  

1. cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/  

 Xml代码  

1. sudo cp /usr/local/lib/*lzo* /usr/lib64/  

 Xml代码  

1. # 如果之前使用过google code的lzo包，要删除  

2. rm -f hadoop-gpl-compression-0.1.0-dev.jar  

 Xml代码  

1. > core-site.xml  

2.   

3.   <property>  

4.     <name>io.compression.codecs</name>  

5.     <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode  

6. c</value>  

7.   </property>  

8.   

9.   <property>  

10.    <name>io.compression.codec.lzo.class</name>  

11.    <value>com.hadoop.compression.lzo.LzoCodec</value>  

12.  </property>  

 设置JAVA_LIBRARY_PATH，这里配置非常容易重要，易出错

 为了让JNI找到库文件需要配置JAVA_LIBRARY_PATH，我自己的方法是：

 cpkevinweil-hadoop-lzo-3d19b14/build /opt/hadoop/

 如果存在$HADOOP_HOME/build/native文件夹，hadoop命令会自动添加“${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib”到$JAVA_LIBRARY_PATH中，这样做非常省事。 

#单机运行生成lzo index文件
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jarcom.hadoop.compression.lzo.LzoIndexer /pub/cc/20110616/18.log.lzo
#Mapreduce生成lzo index文件
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jarcom.hadoop.compression.lzo.DistributedLzoIndexer /pub/cc/20110616/18.log.lzo 

Xml代码  

1. // mapreduce job使用lzo文件作为输入文件  

2. job.setInputFormatClass(LzoTextInputFormat.class);  

 -- 配置结束 -- 

PS: 下面是网上的配置JAVA_LIBRARY_PATH的方法，是不是我的方法更简单？哈哈~

 Xml代码  

1. #copy native文件到hadoop目录  

2. tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native  

 Xml代码  

1. > vi mapred-site.xml   

2.   

3.   <property>  

4.     <name>mapred.child.env</name>  

5.     <value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>  

6.   </property>  

   PS.  如果上述方式设置的JAVA_LIBRARY_PATH没有生效（通过“ps -ef | grep tasktracker”查看），可能需要通过bin/hadoop设置JAVA_LIBRARY_PATH。

 Q & A：

Q：java.lang.RuntimeException:native-lzo library not available

A：原因一：sudo cp /usr/local/lib/*lzo*/usr/lib64/；

     原因二：%$HADOOP_HOME/lib下有hadoop-gpl-compression-0.1.0-dev.jar，删除它

     原因三：JAVA_LIBRARY_PATH配置错误。JNI通过这个环境变量查找库文件，通ps -ef | grep tasktracker，查看lzo的lib文件是否在这个环境变量中，要指向 native/Linux-amd64-64/lib文件，而不是 native/Linux-amd64-64文件夹。通过修改$HADOOP_HOME/bin/hadoop可以修改这个环境变量

Q：lzo文件是不是生成索引之后才支持自动分片？

A：是的，如果不生成index则lzo文件会被作为一个input split处理。

Q: 使用客户端提交job时，报如下错误：

 java.io.IOException:Codec for file hdfs://BGP-BJ-2-5N1:9000/pub/tencent/20110616/18.log.lzo notfound, cannot run

atcom.hadoop.mapreduce.LzoLineRecordReader.initialize(LzoLineRecordReader.java:97)

atorg.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451)

at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646)

atorg.apache.hadoop.mapred.MapTask.run(MapTask.java:323)

atorg.apache.hadoop.mapred.Child$4.run(Child.java:270)

atjava.security.AccessController.doPrivileged(Native Method)

atjavax.security.auth.Subject.doAs(Subject.java:396)

atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)

atorg.apache.hadoop.mapred.Child.main(Child.java:264)

 A：在代码中，或者配置文件中添加下面配置：

conf.set("io.compression.codecs","org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec");

conf.set("io.compression.codec.lzo.class","com.hadoop.compression.lzo.LzoCodec");

 需要把hadoop-lzo.jar加入到project classpath 或者 pom文件里，

 参考文章：

http://share.blog.51cto.com/278008/549393

http://www.tech126.com/hadoop-lzo/

http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/