ubuntu 15.04+java1.8+hadoop2.8.1

来源:互联网 发布:python pdf转html代码 编辑:程序博客网 时间:2024/06/15 19:09
  1. 安装虚拟机
    vmware安装一个master,三个slave虚拟机。
    (1)ubuntu 15.04,做完一个,克隆的其他三个。可以在安装完jdk之后再克隆。注意,创建的用户为spark,所有操作都是在spark下完成。
    (2)为四台机器设置静态IP
    参考http://blog.csdn.net/lv18092081172/article/details/52081859。 分别设置为:
    192.168.8.100 master
    192.168.8.101 slave1
    192.168.8.102 slave2
    192.168.8.103 slave3
    修改主机名和网络配置
    主机名分别为:master,slave1,slave2,slave3。
    sudo vim /etc/hostname
    网络配置,包括ip地址,子网掩码,DNS服务器
    修改/etc/hosts文件。
    修改每台电脑的hosts文件。
    hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。
    在每台linux上,sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去
    (3)ssh
    在每台linux虚拟机上,安装:vim,ssh
    sudo apt-get install vim
    sudo apt-get install ssh
    service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。
    免密设置:实现master免密登录slave123
    第一步:
    mkdir ~/.ssh
    chmod 700 ~/.ssh ,带来的变化:
    drwxrwxr-x 2 spark spark 4096 10月 24 15:21 .ssh
    drwx—— 2 spark spark 4096 10月 24 15:22 .ssh
    ssh-keygen -t rsa
    第二步:
    ①在master上将公钥放到authorized_keys里。注意,进入.ssh 目录。
    命令:sudo cat id_rsa.pub >> authorized_keys
    ②将master上的authorized_keys放到其他linux的~/.ssh目录下。注意,进入.ssh 目录。
    命令:sudo scp authorized_keys spark@slave1:~/.ssh
    sudo scp authorized_keys spark@slave3:~/.ssh
    sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。
    ③修改slave1 的 authorized_keys权限,命令:chmod 600 authorized_keys
    修改slave2 的 authorized_keys权限,命令:chmod 600 authorized_keys
    ④测试是否成功
    ssh slave1 ,直接进入系统。这就表示成功了。
    ssh slave2 ,直接进入系统。这就表示成功了。

  2. 安装java

  3. 安装hadoop
  4. 验证hadoop