Hadoop学习笔记(2)——搭建平台

我使用的是Ubuntu14操作系统，在两台PC机间组建集群。

1.Ubuntu的安装

我使用U盘安装。从Ubuntu官网下载镜像文件http://www.ubuntu.org.cn/index_kylin。使用UltralSO制作成Ubuntu的启动盘，按提示安装到集群所有PC机上。要求创建同一用户。

2.集群的组建

将所有LinuxPC机组建进局域网，分配静态IP。

3.写入hosts

ubuntu下hosts文件在/etc/下，

sudo vim /etc/hosts

将集群中所有PC机的IP地址及机名写入hosts文件，使用”ping ip地址“指令检测局域网是否成功，若能ping通，则成功。

4.集群中ssh免密钥登陆

在主节点上打开终端，使用自己的用户进入用户目录下（/home/用户名/），创建隐藏文件夹.ssh，生成密钥对（过程中一直回车即可），

mkdir .ssh

ssh-keygen -t rsa

生成后在.ssh文件夹下会多出三个文件：known_hosts;id_rsa;id_rsa.pub;将id_rsa.pub复制一份命名为authorized_key,放在当前目录，其中id_rsa.pub中保存本机的私钥，authorized_keys中保存本机公钥（换句话说，authorized_keys中保存集群中各节点互相登陆的凭证，只要每个节点中的authorized_keys保存了所有节点的私钥，就能够实现集群中节点间的免密钥登陆），之后就需要在集群中的每个节点上生成ssh密钥对，然后将私钥内容分别写进authorized_key文件，并每个节点各保存一份，这样ssh免密钥登陆就完成了。

假如只需要主节点获取对子节点的免密钥登陆，由于在同一局域网中，只需要在主节点将自己的authorized_key分发到各个子节点的.ssh目录下

scp authorized_keys 主机名:/home/用户名/.ssh

免密钥登陆：

ssh 节点机名

初次登陆需要输入用户密码，之后就不再需要了。ssh登陆其他节点后就能在该节点上进行远程操作了。

5.配置java环境

由于hadoop中的框架用java编写，所以配置java环境是必须的，详细的配置方法在这里就不多说了。

到此，环境搭建完成。