Hadoop + Zookeeper + HBase 平台搭建（一）

网上搭建Hadoop + Zookeeper + HBase平台的文章可以说是铺天盖地的，非常的多，在这里就把自己配置这个平台时候留下的一个非常基础的文档发出来，供大家指点学习，有问题欢迎大家提出。

先从最基本的配置Hadoop平台开始。

l  首先配置主机名称和ip地址、还有主机名与ip地址对应的hosts文件。

最终配置成的节点的ip地址分布如下：

机器名称

IP地址

Master.Hadoop

192.168.117.122

Slave1.Hadoop

192.168.117.121

Slave2.Hadoop

192.168.117.120

 

1.        查看当前的主机名称：

2.        修改当前主机的名称：

之前有文档时用命令：hostname。

发现reboot之后的效果如图：

原来用hostname修改主机名只是适用于本次操作。如果reboot之后主机名会恢复成  /etc/sysyconfig/network中的HOSTNAME的值。

修改主机名继续。修改主机名需要切换到root用户，普通用户是无法修改/etc文件夹里面的文件的。修改之后不能保存，提示为只读。

切换用户。重新修改HOSTNAME值，然后reboot主机就可以永久的修改主机名了。

3.        修改当前主机的ip地址

Ip地址信息存储在 /etc/sysconfig/network-scripts文件夹下，需要对ifcfg-eth0文件进行配置。如图所示：

修改完毕之后可以用ifconfig命令查看。

此处不再切图，查看一下就ok。

4.        配置hosts文件

/etc/hosts 这个文件时用来配置主机将要用到的DNS服务器信息的。用户连接集群内的主机名的时候，查看该主机名对应的IP地址。

在/etc/hosts中添加下列的信息，并且其他的两个主机也要这样配置。

192.168.117.122

Master.Hadoop

192.168.117.121

Slave1.Hadoop

192.168.117.120

Slave2.Hadoop

修改master节点的情况如下：

测试结果：

说明配置成功。

5.        把上面的1-4的配置以同样的方式配置到Slave1.Hadoop和Slave2.Hadoop两个节点中去

l  所需要的软件

1.        JDK软件

JDK版本：jdk-7u45-linux-i586.tar.gz

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2.        Hadoop软件

Hadoop版本：hadoop-2.2.0.tar.gz

下载地址：http://www.apache.org/dist/hadoop/core/hadoop-2.2.0/

l  对于获取所需要的软件，可以通过两种途径，一种是通过wget直接在linux节点上直接下载，或者配置vsftpd服务，通过该服务传递文件。当然也可以安装winscp直接传递文件。在这里简单的说一下配置vsftpd服务的过程，下面再说wget直接下载文件。

l  VSFTP的安装和配置

1.        首先查看主机是否已经安装了VSFTP

没有反应，说明没有VSFTP服务。

2.        安装VSFTP服务

直到最后一行显示如下：

证明安装成功。

为安装文件创建log

测试安装后的效果：

服务都为关闭，通过下面的语句来开启：

这样就开启了vsftp服务。

但是现在还不可用，需要进一步配置服务。

3.        配置vsftpd服务

参考虾皮上的配置。

anonymous_enable=YES--> anonymous_enable=NO //不允许匿名用户访问，默认是允许

xferlog_file=/var/log/vsftpd.log#设定vsftpd的服务日志保存路径。注意，该文件默认不存在。必须要手动touch出来

#idle_session_timeout=600--> idle_session_timeout=600 //会话超时，客户端连接到ftp但未操作，默认被注释掉，可根据个人情况修改

#async_abor_enable=YES--> async_abor_enable=YES //支持异步传输功能，默认是注释掉的，去掉注释

#ascii_upload_enable=YES--> ascii_upload_enable=YES //支持ASCII模式的下载功能，默认是注释掉的，去掉注释

#ascii_download_enable=YES--> ascii_download_enable=YES //支持ASCII模式的上传功能，默认是注释掉的，去掉注释

#ftpd_banner=Welcometo blah FTP service //FTP的登录欢迎语，本身是被注释掉的，去不去都行

#chroot_local_user=YES--> chroot_local_user=YES

//禁止本地用户登出自己的FTP主目录，本身被注释掉，去掉注释

4.        iptables防火墙

因为在hadoop运行的时候，需要关闭iptables防火墙，所以在有些网站里面给出如何在iptables中添加vsftpd服务。其实也不麻烦，也就是在iptables里面添加20,21端口号，通过在/etc/sysconfig/iptables中添加下列两行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 20 -j ACCEPT

重启服务，vsftpd服务就不会再受iptables的影响了。

当然也可以这样，直接用命令：service iptables stop  关闭服务，

并且设置开机不自动启动，通过命令：chkconfig iptables off

其实这个是早晚要关的。如果单纯的配置vsftpd的服务，就按上面的方法配置。再加上下面的第5，6步vsftpd服务就配置完毕了。

5.        设置Selinux

通过命令查看当前selinux的设置的状态：

getsebool -a | grep ftp

注意两个参数：allow_ftp_full_access à off    ftp_home_dir àoff

修改两个位on通过下面的命令：

setsebool-P ftp_home_dir 1

setsebool-P allow_ftpd_full_access 1

 

6.        重启vsftpd服务，如果没有关闭iptables，也可以重启一下iptables服务，这样vsftpd服务就算配置好了。