hadoop2.4.1 spark1.0.1编译
来源:互联网 发布:mysql如何创建存储过程 编辑:程序博客网 时间:2024/05/22 06:59
spark编译用的是2.4.1版本,而hadoop用的则是2.5.0版本,这样在进行rpc通信的时候,会导致失败。于是将$SPARK_HOME下的pom.xml中的protobuf版本改为2.5.0,重新进行编译
重新编译spark
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Phadoop-2.4.1 -Dhadoop.version=2.4.1 -DskipTests clean package
hadoop启动会报
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform.
因为hadoop32位编译所以64位需要重新编译
首先重新编译hadoop2.4.1
系统安装protobuf-2.5.0.tar.bz2
首先安装这个包不然编译会出错
https://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.5.0.tar.bz2&can=2&q=
安装之前还需要安装
sudo apt-get install g++ zlib1g-dev libssl-dev
./configure --prefix=/usr
make
make check
make install
重新编译hadoop
mvn package -Pdist,native -DskipTests -Dtar
编译eclipse hadoop plugin
https://github.com/winghc/hadoop2x-eclipse-plugin
进入src/contrib/eclipse-plugin
ant jar -Dversion=2.4.1 -Declipse.home=eclipse路径
-Dhadoop.home=hadoop路径
将生成好的jar,复制到
${eclipse.home}/plugins
目录下
插件运行错误修改build.xml
ClassNotFoundException: org.apache.commons.collections.map.UnmodifiableMap
<copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-api-${slf4j-api.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/guava-${guava.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/hadoop-auth-2.4.1.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/netty-${netty.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-collections-3.2.1.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/hadoop-common-2.4.1.jar" todir="${build.dir}/lib" verbose="true"/>
lib/commons-configuration-1.6.jar,
lib/commons-collections-3.2.1.jar,
红色部分是修改build.xml的地方,错误就去除,该错需要查看eclipse的日志
ok最后祝大家一切顺利
- hadoop2.4.1 spark1.0.1编译
- hadoop2.4.1集群安装spark1.1.0
- hadoop2.2.0安装spark1.1.0(maven编译)
- Spark1.4.1 编译与安装
- hadoop2.6.1+spark1.5.1
- 伪分布式配置hadoop2.6和spark1.4.1
- Spark1.5.0 + Hadoop2.7.1整合
- Hadoop2.4.1 源码编译
- Hadoop2.4.1编译记录
- maven 编译 spark1.0.0
- maven编译spark1.6.2
- 编译spark1.6.1源码
- Spark1.6源码编译
- Spark1.6.2 源码编译
- spark1.2源码编译
- spark1.6编译
- spark1.2.0+hadoop2.4.0集群环境搭建
- Spark1.2+Hadoop2.6伪分布式安装
- leetcode--single number.
- NGUI v3.6.8 (Jul 13, 2014)与旧版相比的变化
- zoj 2876 Phone List(tire 树)
- TCP/IP报文格式
- 第四十天 一乐在其中—Android的小游戏打飞机(四)添加敌机
- hadoop2.4.1 spark1.0.1编译
- Hardwood Species
- com技术内幕学习备忘录
- OpenCV坐标体系的初步认识
- Ubuntu 14.04 单机版 Hadoop2.2.0+hbase0.96.2 安装练习
- 菜鸟的安卓实习之路---- android的广播(1)
- Container With Most Water
- 麦卡洛克油锯 - 麦卡洛克是锯适合家庭业主
- linux下语言的选择