Hadoop0.21.0源码编译流程
来源:互联网 发布:抓包软件有哪几种 编辑:程序博客网 时间:2024/05/22 08:01
转自:http://blog.csdn.net/npucloud/article/details/6414072 Author:谢
本文介绍在Linux下使用eclipse编译Hadoop0.21.0源码,参考Hadoop0.21.0编译手册
假设安装环境已配置好:eclipse3.X + jdk1.6
第一步,下载hadoop0.21.0release版本
下载镜像:http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.21.0/ ,下载后解压,可看到文件夹内包含三个子文件夹common,hdfs,mapred,分别对应hadoop common,HDFS,Mapreduce的编译文件夹。
第二步,编译common模块
在common工程上点击右键,选择属性。
去掉Java Builder前面的钩,点击new按钮新建ant编译器
为builder命名,选择Buildfile位置 Browse File System… 这里需要选择common根目录下的build.xml文件
在target选项卡中修改 Manual Build的targets,只保留jar
在common工程的project选项中去掉自动编译的选项,点击编译,完成
编译后在common的build目录下即生成了两个jar文件和其他一下文件夹。其中hadoop-common-0.21.1-SNAPSHOT.jar是二进制包,而hadoop-common-0.21.1-SNAPSHOT-sources.jar是源码包。
注意:有编译的时候会报找不到lib文件夹的错误,需要在build下手工建立lib文件夹即可
第三步,编译hdfs,mapreduce模块
第二步中新建工程的方法对于hdfs,mapreduce的编译同样适用
在编译hdfs和mapreduce的时候,由于对common有依赖关系。需要去网站下载相关包。不过在默认的配置中,是找不到该包的,会报模块找不到错误。需要对hdfs,mapreduce的ivy目录中的libraries/properties文件进行修改
修改以下两项的值,如下图所示。
然后其他的操作和common编译一样,即可完成编译过程,编译后的build文件夹如下:
a. Sh ${HADOOP_HOME}/bin/stop-all.sh停掉hadoop集群。然后删除${HADOOP_HOME}下三个工程相关的包。
b. 把编译成功的hadoop-common-0.21.1-SNAPSHOT.jar,hadoop-hdfs-0.21.1-SNAPSHOT.jar和 hadoop-mapred-0.21.1-SNAPSHOT.jar三个jar包拷贝到hadoop集群${HADOOP_HOME}目录下。
c. Sh ${HADOOP_HOME}/bin/start-all.s重启hadoop集群。
d. 查看集群的各项功能,是否正确,正确则证明编译成功。
- Hadoop0.21.0源码编译流程
- Hadoop0.21.0源码编译方法
- Hadoop0.21.0源码流程分析(1)-客户端提交作业
- Hadoop0.21.0源码流程分析(1)-客户端提交作业
- Hadoop0.21.0源码流程分析(2)-主节点接收作业
- Hadoop0.21.0源码流程分析(2)-主节点接收作业
- Hadoop0.21.0编译手册
- Hadoop0.21.0编译方法
- hadoop0.23 源码编译 错误及原因
- Hadoop0.21.0源码流程分析(3)-Task节点管理启动任务
- Hadoop0.21.0源码流程分析(3)-Task节点管理启动任务
- hadoop0.23 编译
- Android 源码编译流程
- android 源码编译流程
- hadoop0 release0.20.0编译出错
- android framework源码编译流程
- 运行Hadoop0.20.203例子的一般流程
- 解决Hadoop0.21.0 HDFS/MapReduce编译错误(impossible to resolve dependencies)
- PHP中try{}catch{}
- win32 获取IP段分配情况 (DNS p2p 应用可能都会用到)
- 一些有用处的工具-开源,谷歌
- Java复习总结:Java面向对象程序设计 —面向对象(基础篇)
- 转载:JAVA自学之路
- Hadoop0.21.0源码编译流程
- 内建函数
- 绑定网关mac地址防止arp攻击
- Android核心分析
- matlab code snippet #3
- 第14章——C++的代码重用
- 使用JDBC如何获取数据库自动生成的主键
- Java编程解析节省内存效率高的方法
- 5.3例题--日历问题--2964