编译hadoop支持snappy压缩
来源:互联网 发布:java 1.6 32位下载 编辑:程序博客网 时间:2024/06/05 12:08
kylin在build cube时出现hadoop不支持snappy压缩的问题,原因是Hadoop的二进制安装包中没有snappy支持,需要手工重新编译。
编译过程:
1. 安装包列表
snappy-1.1.1.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.6.4-src.tar.gz
2. 编译安装snappy
tar -zxvf snappy-1.1.1.tar.gz
cd snappy-1.1.1/
./configure
sudo make
sudo make install
3. 编译安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./autogen.sh
./configure
make
sudo make install
# 查看protobuf版本以测试是否安装成功
protoc –version
4. 安装依赖
sudo yum install autoconf automake libtool cmake
sudo yum install ncurses-devel
sudo yum install openssl-devel
sudo yum install gcc*
5. 编译hadoop native
tar -zxvf hadoop-2.6.4-src.tar.gz
cd hadoop-2.6.4-src/
mvn clean package -DskipTests -Pdist,native-Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
执行成功后,进入到hadoop-dist/target/目录下hadoop-2.6.4.tar.gz文件即为新生成的二进制安装包。
- 编译hadoop支持snappy压缩
- hadoop源码编译:支持snappy压缩
- 重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- hadoop 压缩-snappy
- 重新编译Hadoop 2.7.2 native以支持snappy
- Hadoop Snappy压缩算法简介
- hadoop,hbase,hive 安装snappy压缩
- hadoop 压缩 gzip biz2 lzo snappy
- 大数据学习23:hadoop-2.6.0-cdh5.7.0 编译,支持 native 和 snappy
- snappy压缩
- Snappy压缩
- hadoop2.2支持snappy压缩安装及配置
- Hadoop列式存储引擎Parquet/ORC和snappy压缩
- Hadoop列式存储引擎Parquet/ORC和snappy压缩
- 编译Hadoop并给HBase应用Snappy本地库
- 配置Snappy压缩
- 算法训练 未名湖边的烦恼
- Mysql的介绍和安装
- 1045.Favorite Color Stripe (30)
- [BZOJ2242][SDOI2011][BSGS][拓展欧几里得]计算器
- ofbiz16.11环境搭建
- 编译hadoop支持snappy压缩
- Unity 编辑器环境下不能正确加载Android Assetbundle 中的 Shader
- 找出从2到某个数的范围内的所有质数,并输出。要求:分行输出,每行最多10个数。
- 端口
- Django(九)下:Ajax操作、图片验证码、KindEditor使用
- PAT_A 1017. Queueing at Bank (25)
- 使用global关键字在函数中访问全局变量
- [POJ3067] Japan - 逆序对
- (四)Cisco IOS基础