hadoop2.6完全分布式环境搭建(上)

hadoop2.6完全分布式环境搭建(上)

安装步骤：

• 安装虚拟机系统（安装1个即可，其余的可以通过克隆），并进行准备工作
• 安装JDK,并配置环境变量
• 克隆虚拟机系统,并修改hosts、hostname
• 配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通。
• 配置ssh，实现节点间的无密码登录
• 关闭防火墙
• master配置hadoop，并将hadoop文件传输到slave节点
• 配置环境变量，并启动hadoop，检查是否安装成功

1、安装虚拟机系统，并进行准备工作

　　安装虚拟机系统不用赘述，安装vmware——新建虚拟机——典型——选择镜像——设置账户密码——安装位置——配置——安装。

　　当虚拟机安装成功后，默认的是nat模式，不要立即将网络模式切换到桥接模式下，这时nat模式下应该可以联网，先安装几个软件，以后需要用到，当然在桥接模式下也可以联网，但是桥接模式是要设置成静态IP的，局限性比较大，下载安装完以后，接下来就不用联网了。

　　安装vim、安装ssh

• apt-get install vim

• apt-get install ssh

• apt-get install openssh*

• apt-get update

2、安装jdk,并配置环境变量

• 从oracle下载jdk安装包，并将安装包拖入到虚拟机当中
• 通过cd命令进入到安装包的当前目录，利用如下命令进行解压缩。
  tar -zxvf jdk.....(安装包名称)
• 利用如下命令将解压后的文件夹移到/usr目录下　
  mv jdk1.8...(文件夹名称) /usr/java

• 配置环境变量

  sudo vim /etc/profile

  export
PATH=$PATH:/usr/java/bin:/usr/java/jre/bin

  export CLASSPATH=.:/usr/java/lib:/usr/java/jre/lib

  source /etc/profile

3、克隆虚拟机并修改三个虚拟机的hosts、hostname

• 克隆虚拟机时要注意一定要选择完整克隆

• 修改hosts(三个虚拟机都要改)

  vim /etc/hosts

  192.168.1.150 master

  192.168.1.151 slave1

  192.168.1.152 slave2

• 配置虚拟机网络

在安装好虚拟机后，虚拟机有三种模式分别是nat模式、仅主机模式、桥接模式，此处对于此三种模式进行简单介绍：

　　nat模式:这是通nat地址转换共享主机Ip的模式，在安装好虚拟机后会发现有vmnet8虚拟网卡，这个网卡默认是nat模式，这时nat模式下的虚拟机相当于又组成一个局域网，而vmnet8相当于这个局域网的网关，在这种模式下，虚拟机之间可以相互ping通，但是不能与主机通信，因为主机与虚拟机之间有有一个vmnet8网卡。当然通过配置vmnet8网卡可以实现通信。

　　仅主机模式：这种模式没有地址转换能力，各个虚拟机之间是相互独立的，不能相互访问，每个虚拟机只能与主机通信。

　　桥接模式：这种模式是将虚拟网卡直接绑定到物理网卡上，可以绑定多个地址，这里是将网卡设置成混杂模式，然后实现可以收发多个地址的消息。

　　本人搭建环境采用的是桥接模式，这种模式拟真性更强一些，虽然有些麻烦。

　　注意：要将三个虚拟机的ip与主机都处于同一个网段，然后实验是否可以Ping通
　　

5、配置ssh，实现节点间的无密码登录 （注意关闭防火墙 ufw disable）

• 产生密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

• 导入authorized_keys
  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
• 试验看是否安装成功

ps -e | grep ssh #查看是否有sshd进程

ssh localhost #尝试登录本地
* 远程无密码登录

scp authorized_keys u0@slave1:~/.ssh/authorized_keys_master #进入master的.ssh目录

cat authorized_keys_master >> authorized_keys* #u0是我的用户名 #进入slave1、slave2的.ssh目录

注意：第四步要在slave上重复，要使三者都能够无密码相互登录，重复完后可以利用如下命令试验，第一次需要输入密码绑定

千万要保证局域网内的Ip不要和虚拟机的ip冲突