hadoop学习008

ps：最近有一些学习之外的事情，在实验室大部分时间都在整理可用的电脑，用来搭建一个完全分布式的hadoop。

1，hadoop完全集群搭建

• 从实验室若干台淘汰机器中找出7台可用的闲置台式机，安装视频切换器，连接网线，安装ubuntu系统
• 建立统一用户名，设置密码，重启选择新建统一用户名登陆

  • sudo useradd -m -G sudo zspasswd zs

• 修改主机名，位于/etc/hostname，如master，node1...node6
• 修改hosts，位于/etc/hosts，首先使用ifconfig命令查看主机ip，之后将所有节点主机ip与主机名对应填入hosts中
• 配置ssh无密码登录
  • 所有主机上获取ssh密钥

    • ssh-keygen -t rsa

  • 在master上获取authorized_keys

    • sudo cat id_rsa.pub >> authorized_keys

  • 将master上的authorized_keys放到其他节点上，确保已经安装了openssh-server，可使用sshd测试

    • sudo scp authorized_keys zs@node1:~/.ssh

  • 测试是否成功，ssh node1
• 所有节点安装jdk，参照上篇文章
• master上安装hadoop，本文安装版本是2.6.0
  • 下载和解压和配置等参照上篇文章
  • 修改slaves文件，填入node1...node6
  • 复制hadoop到其他节点

    • scp -r hadoop-2.6.0 zs@node1:/home/zs/workspace

  • 测试运行，start-all.sh，可通过http://master:50070/ 和 http://master:8088/ 查看运行