如何使用Maven构建《hadoop权威指南3》随书的源码包
来源:互联网 发布:suse linux 安装ftp 编辑:程序博客网 时间:2024/06/02 05:48
《hadoop:the definitive guide 3th》中的例子默认提供了一种编译和构建jar包方法——maven,如果没有maven你会发现编译测试随书的源码会非常的麻烦(至少在命令行下),当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包(恐怕也不太容易)。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作,那就是maven!
如果你对maven还不太了解,可以参看这里。
《hadoop:the definitive guide 3th》的源码包可以从github中下载到,如下图所示:
下载完后解压缩,其根目录下有一个README文件,通过它我们可以得到关于这本书源码的使用方法(基本上所有的开源项目发行包的根目录下都有这么一个文件,也有可能叫做INSTALL,这是了解安装某个开源软件最直接最简单的方法了),其中有说明了构建此书源码所需的所有依赖组件的段落:
This version of the code has been tested with:* Hadoop 1.0.4/0.22.0/0.23.0/2.0.2-alpha
* Avro 1.5.4
* Pig 0.9.1
* Hive 0.8.0
* HBase 0.90.4
* ZooKeeper 3.4.2
* Sqoop 1.4.0-incubating
* MRUnit 0.8.0-incubating
为此,我们需要先安装上述依赖性组件(注意安装时候的版本尽量与上述版本的要求一致,MRUnit我没有安装),在linux下安装软件通常情况下是非常简单的,我们只需要把相应的安装包解压缩,然后在~/.bashrc中配置该安装包的解压路径到环境变量即可(此安装方法适合于大部分linux下软件的安装,不过具体安装方法还需参看README或INSTALL文件),各个依赖性组件的安装方法在本书中相应章节都有介绍,还有疑惑的同学可以到书中自行查看,下面仅以Hbase为例:
% tar xzf hbase-x.y.z.tar.gz
% export HBASE_HOME=/home/hbase/hbase-x.y.z
% export PATH=$PATH:$HBASE_HOME/bin
执行完上述步骤后,输入hbase命令出现如下界面,就说明已经安装成功了(别忘了执行". ~/.bashrc"使配置的环境变量生效):
下面我们就可以切换到本书的源文件包的根目录下使用maven来构建本书的jar包了:
% mvn package -DskipTests -Dhadoop.version=1.0.4
执行过这条命令后就是很长时间的等待,maven会到他的中央仓库和apache的仓库中下载所需要的jar包和pom.xml文件(这个过程可能要持续大约一个小时,要确保你的电脑已经连上网络,下载完成后在~/.m2/repository文件夹中——也即本地仓库——可以看到已经下载下来的jar包和pom文件),然后再逐个构建根目录下pom.xml中配置的modules,等所有的工作做完就可以看到已经打包的各个jar包,从而可以很方便的在命令行使用hadoop命令测试书中的代码了。
转载请注明出处:http://www.cnblogs.com/beanmoon/archive/2012/12/27/2835531.html
- 如何使用Maven构建《hadoop权威指南3》随书的源码包
- 【hadoop】Hadoop学习笔记(八):如何使用Maven构建《hadoop权威指南3》随书的源码包
- 《权威指南》笔记九 构建Hadoop集群
- 笔记:Hadoop权威指南 第9章 构建Hadoop集群
- Maven权威指南-----3、一个简单的Maven项目
- 《Hadoop权威指南》- 3、Hadoop 分布式文件系统
- 《Maven权威指南》学习笔记二十一_构建生命周期
- 【Hadoop权威指南】MapReduce的工作机制
- hadoop权威指南mapreduce的一个程序
- hadoop权威指南 ShowFileStatusTest的运行调试
- 使用Maven构建hadoop项目
- 使用maven构建hadoop项目
- maven如何在eclipse中使用,构建架包
- hadoop 权威指南 2、3章读书笔记
- 《hadoop 权威指南》 读书笔记
- 《hadoop 权威指南》 读书笔记
- Hadoop权威指南-1
- Hadoop权威指南-2
- Xcode运行缓慢
- 如何在windows上使用eclipse远程连接hadoop进行程序开发
- swift基础
- MFC 与 win32应用程序区别(转)
- 不用局部变量实现C语言两数交换算法
- 如何使用Maven构建《hadoop权威指南3》随书的源码包
- hdu 1024 Max Sum Plus Plus(dp求m个不相交子段和的最大值)
- Linux下mysql 修改编码
- 实际开发中关于autorelease的运用
- Swift - JSON
- MYSQL数据类型优化
- gets和scanf
- Android contacts 联系人 通讯录 源码 完全解析
- HDU——1395 2^x mod n = 1(取模运算法则)