Ubuntu搭建hadoop集群（分布式）

一：

准备条件：两台ubuntu虚拟机，两台虚拟机的ip处于同一网段

 

此过程搭建都是在root用户下搭建的，避免遇到新手最怕和最常遇到权限不足的问题

二：基本环境变量

1：增加root用户

#：sudo passwd 创建root用户,然后输入root密码

2：修改主机名

注意下文中的 vivim nano 都是文本编辑器，他们的功能相同，但是具体操作不同

 

#：Master

#：vim /etc/hostname进入hostname文件中，将原名字修改为master，注意重启生效

 

删除 127.0.1.1  xxxx  

#：vim /etc/hosts 进入hosts文件中，将slaver节点和master节点相互关联，具体操作如下

   Slaver节点的 ip slaver           例如：192.168.1.101 master

   Master节点的ip master          例如：192.168.1.102 slaver

 

 

   将它们放到文件的最后一行

 

 

#：slaver

 

#：vim /etc/hostname进入hostname文件中，将原名字修改为slaver

 

#：vim /etc/hosts 进入hosts文件中，将原文件中 127.0.1.1    xxxxxx

   改为 127.0.1.1       slaver

 

#：vim /etc/hosts 进入hosts文件中，将slaver节点和master节点相互关联，具体操作如下

   Slaver节点的 ip slaver           例如：192.168.1.101 master

   Master节点的ip master          例如：192.168.1.102 slaver

将它们放到文件的最后一行

能够ping通，说明配置成功

三：配置ssh

1：

#：Master & slaver

 

#ssh-keygen(或 ssh-keygen–t rsa) 一路回车生成秘钥

#：这个命令生成一个密钥对：id_rsa（私钥文件）和 id_rsa.pub（公钥文件），默认被保存 在/root/.ssh/目录下。

#：在 HadoopMaster 节点的/root/.ssh/目录下创建 authorized_keys 文件，将该节点生成的 id_rsa.pub 的内容拷贝到 authorized_keys 文件中。

HadoopSlaver 节点 将HadoopMaster 节点/root/.ssh/authorized_keys 文件分别拷贝到 slaver1 的 /root/.ssh 目录下：

slaver1:

# scp master:/root/.ssh/authorized_keys/root/.ssh/ 

将slaver节点的 id_rsa.pub拷贝到authorized_keys

将slaver节点的authorized_keys拷贝一份 名字为a

将a 传到master节点上

将master节点的a改名为authorized_keys

无密码登陆验证 2个节点通过 ssh 命令相互登陆，如果没有提示输入密码直接登陆成功，说明无密码登陆配置没有问题，注意关闭每个节点的防火墙。

四：安装jdk，配置java环境变量

做这一步，你必须有主机和虚拟机连接的手段 如：crt 连接，或virtualBox自带的共享文件功能 等       共享文件参考网址（http://blog.csdn.net/qq_39852472/article/details/78395257）

1：安装jdk

安装jdk包，可以通过ubuntu命令下载，也可以通过自己下载jdk包放到ubuntu解压，我们选择第二种方法，网上大部分是通过ubuntu直接下载的，如果想用第一种方法可以看这个人的方法，很不错

 

http://www.powerxing.com/install-hadoop-cluster/

 

 

以下为jdk下载网址，下载包要记住接收许可协议

 

http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

 

我们下载这个包

 

下载完成之后，我们将这个包放到共享文件夹之中

 

 

Master &slaver

我们可以看到共享文件中已经有了 jdk包了

我们将这个包放到 /usr/local/下

我们查看已经将jdk包放入到了 local文件下了

解压包

 

解压完成会生成jdk1.8.0——144的包

 

2：配置环境变量

Master &slaver

编辑profile文件，在文件末尾写入环境变量

生效，使环境变量

环境变量配置成功

五：安装hadoop

1：下载hadoop包

Master

以下为下载地址

http://mirror.bit.edu.cn/apache/hadoop/common/

 

将安装包放入到共享文件夹中

将安装包移动到/usr/local/这个文件下

2：解压安装包

解压hadoop安装包

 解压完成会生成一个hadoop-2.7.0的包，将hadoop-2.7.0 包重命名为hadoop

3：配置环境变量

修改文件 profile

在最后一行添加

使环境变量生效

4：修改配置文件

进入/Hadoop/etc/hadoop/文件夹下面

1：修改hadoop-env.sh文件

添加jdk的环境变量

2：修改yarn.env.sh 文件

添加jdk环境变量

3：修改文件 core-site.xml

4：修改文件hdfs-site.xml

5：修改文件yarn-site.xml

6：修改文件 mapred-site.xml

7:修改文件 slaves 删除原内容添加以下内容

root@master

root@slaver

 

 

8：将master节点的hadoop文件传输到slaver节点上

 

Slaver

 

配置hadoop环境变量和上面一样，只是在slaver节点中配置

 

5.5：格式化文件（记住只能在master节点执行这个命令，不能再slaver节点执行这个命令）

碰到问题输入yes 或 y

 

 

 

完成后  成功是这样的

Exiting withstatus 0 为没有错误，反之如果为其他数字就说明为几个错误

 

还有 如果出现succssfully则成功

 

 

 

查看错误的方法（看·日志报表，会显示错误）

5.5：启动hadoop

Master

在master节点和slaver节点上启动

 

 

其中JobHistoryServer是需要自己手启的（必须是我的配置文件，或者你配置了JobHistoryServer这个节点的内容）

5.6：查看启动的节点

使用jps这个命令

 

Master

少一个都说明配置不成功

 

Slaver

少一个都说明没配置成功

5.7：验证hadoop安装是否成功

先在/opt/这个目录下创建两个 文件 分别叫做 aaa.txt bbb.txt

往这两个文件中传入数据

将文件放入到 HDFS系统中

进入这个目录下

运行实例，

执行这个命令

没有报错说明成功

 

查看结果

5.8：用web页面查看是否成功

在浏览器输入 http://master:50070/，检查 namenode 和 datanode 是否正常。UI 页面如 下图所示。

在浏览器输入 http://:8088/，检查 Yarn 是否正常，页面如下图所示

注意 5.7 和· 5.8 的验证方法都必须成功才可以算搭建完成，否则，都算失败。