hadoop-2.6.0源码编译
来源:互联网 发布:c语言整人小程序 编辑:程序博客网 时间:2024/05/29 17:47
运行hadoop环境时,常常会出现这种提示
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 意思是无法加载本地native库。
这里就需要我们自己本地进行编译hadoop源码,用生成的文件来替换原有的native库。
下面就是 大讲台老师 整理的hadoop编译流程
首先介绍一下我的环境
centos6.5
jdk-7u79-linux-x64.tar.gz
apache-maven-3.3.9-bin.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.6.0-cdh5.12.0-src.tar.gz
接下来就进行步骤介绍
第一步,安装jdk
解压
1 tar -zxvf jdk-7u79-linux-x64.tar.gz
环境变量
1 vi /etc/profile
#JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
测试是否安装成功
source /etc/profilejava -version
第二步,安装maven
解压
tar -zxvf apache-maven-3.3.9-bin.tar.gz
更改名称
mv apache-maven-3.3.9 maven339
环境变量
vi /etc/profile
#MAVEN_HOMEexport MAVEN_HOME=/home/hadoop/maven339export PATH=$MAVEN_HOME/bin:$PATH
测试是否安装成功
source /etc/profilemvn -version
第三步,根据多次踩坑,准备编译时需要的安装
1 yum install gcc 2 yum intall gcc-c++ 3 yum install make
或者是直接运行
yum install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
第四步安装protoc
解压编译,逐步执行
1 tar -zxvf protobuf-2.5.0.tar.gz 2 cd protobuf-2.5.03 ./configure --prefix=/home/hadoop/protobuf250 4 make 5 make install
环境变量
vi /etc/profile#PROTOC_HOMEexport PROTOC_HOME=/home/hadoop/protobuf250export PATH=$PROTOC_HOME/bin:$PATH
测试
source /etc/profileprotoc --version
第四步,编译hadoop
1 tar -zxvf hadoop-2.6.0-cdh5.12.0-src.tar.gz 2 mv hadoop-2.6.0-cdh5.12.0 hadoop260-src 3 cd hadoop-2.6.0-src 4 mvn clean package -Dmaven.javadoc.skip=true -Pdist,native -DskipTests -Dtar
经过一段时间的等待,出现 build success ,说明编译成功。
编译源码生成的部分都在hadoop260-src/hadoop-dist/target/目录下
将编译后的native文件夹下的东西替换到原来的native目录
1 cp -r hadoop260-src/hadoop-dist/target/hadoop-2.6.0-cdh5.12.0/lib/native/ /home/hadoop/hadoop260/lib/
同样,其他机器的文件同样替换
1 scp -r hadoop260-src/hadoop-dist/target/hadoop-2.6.0-cdh5.12.0/lib/native/ hadoop@ltt2.bg.cn:/home/hadoop/hadoop260/lib/2 .. 3 .. 4 ..
注意:不同的linux环境,编译过程中会有不同,有可能会出一些编译过程的错误。
阅读全文
0 0
- hadoop-2.6.0源码编译
- Windows 10编译Hadoop 2.6.0源码
- hadoop-2.2.0源码编译
- hadoop-2.2.0源码编译
- hadoop-1.0.0源码编译
- hadoop-2.5.0源码编译
- Win7 64bit hadoop-2.6.0源码编译部署包
- CentOS 64位上编译Hadoop 2.6.0源码包
- 64位centos 下编译 hadoop 2.6.0 源码
- linux环境下编译hadoop-2.6.0源码
- Spark 2.2源码编译 & 支持hadoop-2.6.0-cdh5.7.0
- Ubuntu12.04 编译 Hadoop 2.6.4 源码
- Maven编译hadoop-2.6.4源码
- hadoop 2.2.0 源码编译笔记
- hadoop 2.2.0 源码编译笔记
- hadoop-2.4.0源码编译过程
- Hadoop-2.5.0源码编译-记录
- Windows源码编译Hadoop 2.8.0
- solr
- Linux安装配置php7+nginx
- Zookeeper集群的安装配置
- AutoCompleteTextView(自动提示框)
- JQ判断是否存在子元素
- hadoop-2.6.0源码编译
- HDU 6208 The Dominator of Strings AC自动机
- Vue.js环境配置
- ListPopupWindow用法
- rails应用模板
- raid5 磁盘阵列崩溃导致数据丢失的恢复案例
- 实验一线性表的基本操作实现及其应用
- 计算机基础问题
- LeetCode-Two Sum(两数之和)