Hadoop lzo详细安装手册

方式-1：yum install lzop

方式-2：手动安装，安装步骤如下：

部署

1. 所需软件

• gcc
• ant
• lzo-2.05.tar.gz
• toddlipcon-hadoop-lzo-2bd0d5b.tar.gz
• ivy-2.0.0-rc2.jar

2. 安装lzo

 

tar-zxvf lzo-2.05.tar.gz

 

cdlzo-2.05

./configure--enable-shared --disable-asm --prefix=/usr/local

//sudo权限

 

make&& makeinstall

 

3. 配置lzo库文件路径

（库文件被默认安装到了/usr/local/lib，需要进一步指定lzo库文件的路径，指定路径到usr_local_lib.conf文件里即可）

 

1.touch /etc/ld.so.conf.d/usr_local_lib.conf

 

echo"/usr/local/lib">> /etc/ld.so.conf.d/usr_local_lib.conf




//保存后退出,执行下列命令




/sbin/ldconfig-v|greplzo

//显示： 

liblzo2.so.2 (libc6,x86-64) => /usr/local/lib/liblzo2.so.2

liblzo2.so.2 (libc6,x86-64) => /usr/local/lib/liblzo2.so.2

2.更推荐下列方式

 拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台）

 

 

4. lzo编码/解码器

tar-zxvf toddlipcon-hadoop-lzo-2bd0d5b.tar.gz（应解压到lzo包中）

cdtoddlipcon-hadoop-lzo-2bd0d5b               

cphadoop-core-0.20.2-cdh3u4.jar  .toddlipcon-hadoop-lzo-2bd0d5b/lib

cpivy-2.0.0-rc2.jar /home/search   (ant compile-native jar 需要读取ivy-2.0.0-rc2.jar 文件) 

sed-i "s/http:\/\/repo2\.maven\.org\/maven2\/org\/apache\/ivy\/ivy\/\\\${ivy\.version}/file:\/\/\/home\/search/"build.xml

ant compile-native

ant jar 

 

//目的是生成64位compression包和lzo-0.4.10.jar包，如果已存在，可跳此步骤

cp./build/hadoop-lzo-0.4.10.jar/application/search/hadoop-0.20.2-cdh3u4/lib

cp./build/native/Linux-amd64-64/lib/libgplcompression.*/application/search/hadoop-0.20.2-cdh3u4/lib/native/Linux-amd64-64/

6. 安装lzop命令（可编译或者yum安装）

wget http://www.lzop.org/download/lzop-1.03.tar.gz 

exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib 

tar-zxvf lzop-1.03

cdlzop-1.03

./configure

//sudo权限

make&& makeinstall

或者从其它机器拷贝lzop命令到/usr/bin下即可

cplzop /usr/bin

-rwxr-xr-x 1 root root 264812 Jan 10 17:46 /usr/bin/lzop 

7. lzo测试验证

生成lzo-test.log.lzo的文件

vi lzo-test.log //生成测试文件

lzop -v  lzo-test.log




//产生

lzo-test.log.lzo文件

上传lzo压缩文件到hadoop系统

运行job进行测试

Hadoop jar hadoop-examples-0.20.2-cdh3u4.jar wordcount /test/input/test/output

看是否成功执行job