重新编译Hadoop 2.7.2 native以支持snappy
来源:互联网 发布:淘宝俪人购是正品吗 编辑:程序博客网 时间:2024/06/03 09:57
问题提出:
在运行kylin sample时出现以下错误:
org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was built without snappy support.
造成以上错误的原因是Hadoop的二进制安装包中没有snappy支持,需要手工重新编译。
操作过程:
1. 下载所需要的源码包
snappy-1.1.1.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.7.2-src.tar.gz
2. 准备编译环境
yum install svn
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install gcc*
3. 编译安装snappy
# 用root用户执行以下命令
tar -zxvf snappy-1.1.1.tar.gz
cd snappy-1.1.1/
./configure
make
make install
# 查看snappy库文件
ls -lh /usr/local/lib |grep snappy
4. 编译安装protobuf
# 用root用户执行以下命令
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./configure
make
make install
# 查看protobuf版本以测试是否安装成功
protoc --version
5. 编译hadoop native
tar -zxvf hadoop-2.7.2-src.tar.gz
cd hadoop-2.7.2-src/
mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/
http://www.linuxidc.com/Linux/2014-12/110857.htm
在运行kylin sample时出现以下错误:
org.apache.hadoop.hive.ql.metadata.HiveException: native snappy library not available: this version of libhadoop was built without snappy support.
造成以上错误的原因是Hadoop的二进制安装包中没有snappy支持,需要手工重新编译。
操作过程:
1. 下载所需要的源码包
snappy-1.1.1.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.7.2-src.tar.gz
2. 准备编译环境
yum install svn
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install gcc*
3. 编译安装snappy
# 用root用户执行以下命令
tar -zxvf snappy-1.1.1.tar.gz
cd snappy-1.1.1/
./configure
make
make install
# 查看snappy库文件
ls -lh /usr/local/lib |grep snappy
4. 编译安装protobuf
# 用root用户执行以下命令
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./configure
make
make install
# 查看protobuf版本以测试是否安装成功
protoc --version
5. 编译hadoop native
tar -zxvf hadoop-2.7.2-src.tar.gz
cd hadoop-2.7.2-src/
mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
执行成功后,hadoop-dist/target/hadoop-2.7.2.tar.gz即为新生成的二进制安装包。
参考:http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/
http://www.linuxidc.com/Linux/2014-12/110857.htm
0 0
- 重新编译Hadoop 2.7.2 native以支持snappy
- 重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
- 编译hadoop支持snappy压缩
- 大数据学习23:hadoop-2.6.0-cdh5.7.0 编译,支持 native 和 snappy
- hadoop源码编译:支持snappy压缩
- 编译hadoop2.6.0-cdh5.7.0 native支持snappy & 编译中遇到的坑及解决办法
- 编译hadoop2.6.0-cdh5.7.0 native支持snappy & 编译中遇到的坑及解决办法
- 重新编译Hadoop源码
- 编译Hadoop并给HBase应用Snappy本地库
- hadoop 编译native包
- Unable to load native-hadoop library 和 Snappy native library not loaded 的解决
- Hadoop-2.2.0在Unbuntu ADM64中需要重新编译Native Lib
- hadoop2.4 支持snappy
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- hadoop 压缩-snappy
- Hadoop 安装Snappy
- vim支持cscope重新编译
- structs2拦截器的实现原理和源码剖析
- android模拟支付宝芝麻信用(上)
- ElasticSearch——Java 内存溢出
- Thrift
- 学生类
- 重新编译Hadoop 2.7.2 native以支持snappy
- Java windows项目迁移到linux上,遇到一些跟路径相关的问题
- cocos2d-C++ 学习UI控件(五)之 PageView
- Session服务器详解
- 点云超像素分割实验进展
- java开发FTP客户端列出指定目录下面所有文件
- Web API文档生成工具apidoc
- iOS中CoreAnimation的一些小问题 animationDidStop确认哪个动画结束 和 连续animation之间的动画不连续闪现
- [转载]Windows Hook 易核心编程<2>远程线程注入 下