《hadoop权威教程》学习记录_01环境

1 学习记录_《hadoop权威教程》_01环境

1.1 规划和版本

使用本地硬件模拟一个6台节点的集群。

规划环境
VMware Workstation 11.1.4
6台虚拟机
CentOS-7-x86_64-Everything-1511.iso
jdk1.7.0_80_x64
hadoop-2.7.3
为真实模拟生产环境，集群不联外网

1.1.1 虚拟机设定

1.1.1.1 网络设定

设置虚拟机网络模式为主机模式（host-only）

查看到VMnet1的子网IP

查看本机的VMnet1的IP，将VMnet1改为静态IP

cd /etc/sysconfig/network-scriptsvi ifcfg-eno16777736    //centos7的配置比较特殊

修改IP配置项目

BOOTPROTO=no    //dhcp设置ONBOOT=yesIPADDR=192.168.44.101   //规划的本机IPGATEWAY=192.168.44.1    //宿主机的VMnet1地址

关闭centos防火墙

systemctl stop firewalld.service //停止firewallsystemctl disable firewalld.service //禁止firewall开机启动//centos7的防火墙不是iptables

ping测试

hostnamectl status  //centos7使用hostnamectl工具来控制主机名hostnamectl set-hostname "server01"     //分别设置主机名vi /etc/hosts   //设置局域网DNS192.168.44.101  server01192.168.44.102  server02192.168.44.103  server03192.168.44.104  server04192.168.44.105  server05192.168.44.106  server06

1.1.1.2 用户配置

创建用户组/用户/设置密码

groupadd hadoopsuseradd -g hadoops hadooppasswd hadoop//密码设置为hadoophadoop 后续的操作尽量用hadoop避免使用root用户

1.1.1.3 SSH免密码设置

使用RSA对称加密达到免密码SSH，每个节点分别生成一对密钥，并且分别维护一个信任列表，以A→B为例
第1步：A主机，定位到/home/hadoop

ssh-keygen -t rsa -f ~/.ssh/id_rsa //会在.ssh下生成id_rsa、id_rsa.pub两个文件cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

第2步：B主机，创建/home/hadoop/.ssh/authorized_keys，保存信任列表，通常情况是直接用A分发公钥

scp /home/hadoop/.ssh/id_rsa.pub hadoop@server02:/home/hadoop/.ssh/authorized_keys//执行的时候会要求输入密钥 建议输入hadoop

第3步：集群中的主机两两配置，可以先统一生成公钥，而后保存到一个文件里再分发。
第4步：修改文件权限

chmod 700 /home/.sshcd /home/.sshchmod 600 *//权限设置没有找到有说服力的原因，不能太高也不能太低

第5步：保存密钥

ssh-agent bash  //如ssh-add报错Could not open a connection to your authentication agent.就先执行该命令ssh-add