Hadoop 2.7.3 源码编译+单机及分布式部署

• 目录

我们可以选择官方编译好的Hadoop进行安装，但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。

源码构建

环境：

• Ubuntu(Unix)
• Java 1.7+
• Maven 3.0 or later
• ProtocolBuffer 2.5.0
• CMake 2.6 + （native code）
• Zlib devel (native code)
• 联网

工具准备

1. 首先从GitHub下载Hadoop源码：

2. 解压到任意文件夹 tar -zxvf

3. 安装JDK-1.7

   $ sudo apt-get purge openjdk*$ sudo apt-get install software-properties-common$ sudo add-apt-repository ppa:webupd8team/java$ sudo apt-get update$ sudo apt-get install oracle-java7-installer

4. 安装Maven

   $ sudo apt-get -y install maven

5. 安装编译Native Code(本机代码)需要的组件

   $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

6. 安装ProtocolBuffer 2.5.0

   $ sudo apt-get -y install libprotobuf-dev protobuf-compiler

从源码构建

切换到Hadoop源码根目录

$ mvn clean #清理mvn

有多种方式构建，这里我们选择不带源码的二进制发行版（binary distribution）,编译成本机代码。

$ mvn package -Pdist,native -DskipTests -Dtar #使用maven 进行构建

这里视网络情况和机器性能不等编译时间也不同。因为maven需要向网络请求依赖库，构建完成后显示

[INFO] BUILD SUCCESS

这时在Hadoop源码根目录下切换到

$ cd ./hadoop-dist/target

找到Hadoop-2.7.3目录，我们需要的编译构建好的Hadoop二进制文件就在这里啦。

软件结构

total 120drwxr-xr-x 2 root root  4096 9月   5 19:17 bin #Hadoop组件命令，包涵Windows的cmddrwxr-xr-x 3 root root    19 9月   5 19:17 etc #Hadoop配置文件drwxr-xr-x 2 root root   101 9月   5 19:17 include #对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是C++定义的，通常用于C++程序访问HDFS或者编写MR程序drwxr-xr-x 3 root root    19 9月   5 19:17 lib #该目录提供了对外编程的静态库和动态库，与include目录下的头文件结合使用（并不是一些依赖jar包）drwxr-xr-x 2 root root  4096 9月   5 19:17 libexec #各个服务所对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息-rw-r--r-- 1 root root 84854 9月   5 19:17 LICENSE.txtdrwxr-xr-x 3 root root  4096 9月  19 02:24 logs #日志文件-rw-r--r-- 1 root root 14978 9月   5 19:17 NOTICE.txt-rw-r--r-- 1 root root  1366 9月   5 19:17 README.txtdrwxr-xr-x 2 root root  4096 9月   9 03:49 sbin #对Hadoop组件操作的shell文件drwxr-xr-x 4 root root    29 9月   5 19:17 share #hadoop 各个模块编译后的jar包所在目录,以及文档所在目录

---

单机部署

参考Single Node Setup

1. 安装ssh和rsync

   $ sudo apt-get install ssh$ sudo apt-get install rsync

2. 将刚刚编译好的hadoop-2.7.3文件拷到想安装的目录下，配置 etc/hadoop/hadoop-env.sh文件中的JAVA_HOME为

   # set to the root of your Java installation export JAVA_HOME=/usr/java/latest

3. 尝试运行bin/hadoop看能否正常输出，同时可以运行

   $ ./bin/hadoop version

   查看版本和编译情况

4. 按照步骤进行如下检查，看是否报错，没有的话单机配置就完成了

   $ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'$ cat output/*

---

分布式部署

参考 Cluster Setup 及单机中Single Node Setup 伪分布式的配置

配置host

vi  /etc/hosts192.168.0.1 master192.168.0.2 salve1192.168.0.3 salve2

配置ssh免密登陆

1. 首先尝试ssh localhost ，如果不成功首先要将自己主机加入授权key的列表中

   $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

   然后照此法将每台机子之间的key互通

2. 关闭防火墙，每种系统方法不一样，重要机器请慎重关闭

   ​

修改配置文件

这里的重点集中在etc/hadoop中的几个配置文件中

core-site.xml

<configuration> <property>     <name>fs.defaultFS</name>     <value>hdfs://test1:9000</value> </property></configuration>

hdfs-site.xml

<configuration>    <property>        <name>dfs.replication</name>        <value>2</value>    </property>    <property>        <name>dfs.namenode.secondary.http-address</name>        <value>test1:9001</value>        <description>secondarynamenode的web地址</description>    </property>    <property>        <name>dfs.webhdfs.enabled</name>        <value>true</value>        <description>提供web访问hdfs的权限</description>    </property></configuration>

mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>    <property>        <name>mapreduce.jobhistory.address</name>        <value>test1:10020</value>        <description>jobhistory是Hadoop自带了一个历史服务器，记录Mapreduce历史作业</description>    </property>    <property>        <name>mapreduce.jobhistory.webapp.address</name>        <value>test1:19888</value>    <description>jobhistory的http地址</description></property></configuration>

yarn-site.xml

<configuration><!-- Site specific YARN configuration properties -->    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>     <property>        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property>     <property>       <name>yarn.resourcemanager.scheduler.class</name>  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>    </property>    <property>        <name>yarn.scheduler.fair.allocation.file</name>        <value>/path-of-fair-shceduler-xml/fair-scheduler.xml</value>        <description>对fair-scheduler进行设置，否则无法按找期望分配队列资源</description>    </property>    <property>        <name>yarn.resourcemanager.address</name>        <value>master:8032</value>    </property>    <property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>master:8030</value>    </property>    <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>master:8031</value>    </property>    <property>        <name>yarn.resourcemanager.admin.address</name>        <value>master:8033</value>    </property>    <property>        <name>yarn.resourcemanager.webapp.address</name>        <value>master:8088</value>        <description>yarn资源管理的http地址</description>    </property>    <property>        <name>yarn.nodemanager.resource.memory-mb</name>        <value>20480</value>        <description>例子为20G，yarn的node资源，可不设置但是不可以太小</description>    </property></configuration>

fair-scheduler.xml

<?xml version="1.0"?><allocations><userMaxAppsDefault>30</userMaxAppsDefault><queue name="root"><minResources>10240mb,3vcores</minResources><maxResources>20480mb,6vcores</maxResources><maxRunningApps>100</maxRunningApps><weight>1.0</weight><schedulingMode>fair</schedulingMode><aclSubmitApps> </aclSubmitApps><aclAdministerApps> </aclAdministerApps><queue name="root"><minResources>10240mb,3vcores</minResources><maxResources>20480mb,6vcores</maxResources><maxRunningApps>100</maxRunningApps><schedulingMode>fair</schedulingMode><weight>1.0</weight><aclSubmitApps>*</aclSubmitApps></queue></queue></allocations>

检查是否成功

1. 首先将配置同步到其他节点

   $ scp -r /usr/local/hadoop-2.7.3/etc/* test2:/usr/local/hadoop-2.7.3/etc/

2. 启动hadoop组件

   bin/hdfs namenode –format    sbin/start-dfs.shsbin/start-yarn.sh 

3. jps查看进程

   test1:23297 SecondaryNameNode22824 NameNode18617 NodeManager18443 ResourceManager11596 Jpstest2:31971 Jps14170 NodeManager28237 DataNode

   ​

4. 通过浏览器查看

   1.http://master-ip:50070                   namenode的hdfs页面地址2.http://master-ip:8088/cluster/         yarn资源的页面地址

5. 跑示例程序检查

   过程类似单机测试，不过文件要上传hdfs，关于文件的命令请参考hdfs，这里只写出了本地的

   $ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'$ cat output/*

查看运行日志

有问题及时查看./logs下的日志和Yarn的页面，跟踪解决。

其他

修改环境变量方便操作

• Java

export JAVA_HOME=/usr/local/jdk1.8.0_111 #java-install-pathexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

• Hadoop

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROLexport JAVA_HOME=/usr/local/jdk1.8.0_111export HADOOP_HOME=/usr/local/hadoop-2.7.3 #Hadoop-install-pathexport PATH=$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin

不要忘记source /etc/profile

关于环境变量的优先级，我会再写一篇文章探讨