hadoop源码编译
来源:互联网 发布:首都师范大学vpn端口 编辑:程序博客网 时间:2024/05/21 08:58
Hadoop源码编译:
系统:CentOS 7
源码:hadoop-2.7.3
1.安装Java
要求jdk 1.7+以上版本,下载系统对应版本,这里我们使用jdk1.8。最好卸载之前系统自带的OpenJDK,这里使用rpm安装
rpm -ivh jdk-8u131-linux-x64.rpm
2.安装maven
yum install -y maven
3、安装protobuf和findbugs
hadoop利用protobuf通信,findbugs提示错误
下载protobuf-2.5.0版本:http://download.csdn.net/download/agent_x/9896356
解压安装
tar -xzvf protobuf-2.5.0.tar.gzcd protobuf-2.5.0./configure --prefix=/usr/localsudo makesudo make install
下载findbugs,解压即可
tar -xzvf findbugs-3.0.1.gzmv findbugs-3.0.1 /usr/local/findbugs
修改环境变量,编译/etc/profile,
vim /etc/profile
在末尾添加
export FINDBUGS_HOME=/usr/local/findbugsexport PROTOC_HOME=/usr/local/protocexport PATH=$FINDBUGS_HOME/bin:$PROTOC_HOME/bin:$PATH
立即导入生效
source /etc/profile
验证
protoc –version
findbugs –version
4.安装其他依赖(仅需要在master上安装)
yum install -y zlib-devel gcc gcc-c++ openssl-devel automake make autoconf cmake ncurses-devel libtool lzo-devel
5.编译hadoop
执行命令
mvn clean package –Pdist,native –DskipTests –Dtar
编译时间较长
阅读全文
0 0
- hadoop 源码编译
- hadoop源码编译错误
- eclipse编译hadoop源码
- hadoop源码编译
- Eclipse 编译Hadoop源码
- eclipse编译hadoop源码
- 编译hadoop源码
- hadoop 源码编译
- 重新编译Hadoop源码
- hadoop源码编译
- hadoop源码编译
- Spark、hadoop源码编译
- hadoop源码编译
- Hadoop源码编译
- hadoop 源码编译
- HADOOP源码编译
- eclipse maven 编译hadoop源码
- Hadoop v2(Yarn)源码编译
- HDU 1096
- 2017/7/12 今日计划
- android 获取SD 卡路径的一些代码
- hdu1080 Human Gene Functions DP
- 正则表达式判定保留2位小数
- hadoop源码编译
- zookeeper与dubbo关系
- 4890: [Tjoi2017]城市
- NullPointerException 空指针异常
- 一起做RGB-D SLAM(6)
- solr主从配置备份数据
- ElasticSearch 5 数据迁移
- 点、线导出含高程值的表格
- android笔记201707