大数据组件安装准备工作2--再次配置已安装好的虚拟机

1. 关闭防火墙，关闭SELINUX（root账户）

#关闭防火墙
service iptables stop 或 /etc/init.d/iptables stop

#关闭防火墙自动运行
chkconfig iptables off

#关闭SELINUX
vi /etc/selinux/config
SELINUX=disabled

/usr/sbin/sestatus - v

#重启机器
reboot

2. 配置时间同步（root账户）

1）运行 crontab -e 命令，设置每天进行同步
0 1 * * * /usr/sbin/ntpdate time.nist.gov
2）/usr/sbin/ntpdate time.nist.gov  #立即同步

3)  service ntpd start  #开启ntpd服务
chkconfig ntpd on #设置为默认启动，关掉使用off

也可以参照http://acooly.iteye.com/blog/1993484 配置内网的NTP Server

3. 安装JDK（root账户）

#在此以JDK1.7为例，也可以安装JDK1.8
$mkdir /usr/java
$cd /usr/java
$wget --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

$tar -zxvf jdk-7u79-linux-x64.tar.gz
$ln -s jdk1.7.0_79 jdk1.7

$vi /etc/profile
#JDK 1.7
export JAVA_HOME=/usr/java/jdk1.7
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

$source /etc/profile

4. 生成libcrypto.so

在/usr/lib64路径下，[root@master lib64]# ln -s libcrypto.so.1.0.1e libcrypto.so

如果没有libcrypto.so文件，则hadoop在需要此文件时无法加载，检查时会遇到以下错误信息

[zkpk@master ~]$ hadoop checknative -a

...

openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!

5. 拷贝虚拟机以创建其他节点

1）在Virtualbox管理器中，右击配置好的虚拟机，点击“复制”，已创建新的节点

2）用  vi /etc/sysconfig/network 修改HOSTNAME，用  vi /etc/sysconfig/network-scripts/ifcfg-eth1修改IPADDR

3）修改新的虚拟机的 HWADDR 信息

cat /etc/udev/rules.d/*-persistent-net.rules   #查看Name是最后一个 eth的 ATTR{address}信息

如：

# PCI device 0x1022:0x2000 (pcnet32)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:8f:89:9
7", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
# PCI device 0x1022:0x2000 (pcnet32)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:50:bd:1
7", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

vi /etc/sysconfig/network-scripts/ifcfg-eth0

将 DEVICE="eth0"  改成  DEVICE="eth1"  ,
将 HWADDR="00:0c:29:8f:89:97" 改成上面的mac地址  HWADDR="00:0c:29:50:bd:17"

最后，重启网络

# service network restart
或者

# /etc/init.d/network restart

6. 配置host（root用户下操作，此操作针对所有节点）

[root@master sysconfig]# cat /etc/hosts
192.168.56.111 master
192.168.56.112 slave1
192.168.56.113 slave2

7. 配置SSH免密登录（安装和启动大数据组件的用户下进行）

1）在每个节点运行 ssh-keygen -t rsa，不输入直接敲 回车 三次直到命令结束

2）在每个节点生成authorized_keys

cd ~/.ssh

cat ./id_rsa.pub >> authorized_keys

3）将其他节点的 authorized_keys拷贝到当前节点。注意包含各节点rsa pub的authorized_keys的行数应该和节点数是一样的

scp 当前节点authorized_keys 节点1:/home/大数据用户/.ssh/key1

在节点1 / home/大数据用户/.ssh/下，运行  cat key1 >> authorized_keys

以此将各节点的id_rsa.pub内容，集合到节点1的authorized_keys，验证authorized_keys的行数与节点数一样

通过scp分发到其他节点，并覆盖原有的 authorized_keys

4）在当前节点上进行SSH验证

例如，ssh slave1

如果发现SSH错误，在被登录机器上运行  tail /var/log/secure -n 20  以查看log