搭建Hadoop分布式集群------前期准备

来源:互联网 发布:unity3d 数据库 编辑:程序博客网 时间:2024/05/23 01:16

前期准备:

准备机器和设置机器在局域网内

在VirtualBox中准备第二、第三台运行Ubuntu系统的机器。第二台与第三台机器,是直接拷贝第一台机器获得,所有配置信息都一样。单机都是伪分布式模式的ubuntu系统的机器。


搭建Hadoop分布式集群环境只用三台机器是因为:三台机器是成功配置Hadoop分布式集群运行环境的最小数量,不会因为现有的机器内存或者磁盘空间的局限而导致搭建集群环境失败;三台机器的集群环境配置的步骤和多台机器完全一致!

机器准备好之后,不要基于部署,因为复制过来的机器,网络设置都是一样的,ip信息都是一致的,这需要对着三台机器进行网络配置,使它们在一个局域网内,那样在之后配置才能正确的进行下去,关于把三台机器加入同一个局域网链接:http://blog.csdn.net/henni_719/article/details/77746317!

验证每个机器的伪分布式模式是否成功

打开每个机器,启动hadoop服务,验证环境是否成功,再次只验证Slave1、Slave2截图如下:




配置Hadoop分布式集群环境

修改主机名并配置主机名和IP地址的对应关系

在每台机器的/etc/hostname中修改主机名,修改主机名如果修改完后,主机名未变化,需要重启机器,开机就会发现主机名已发生变化!下面给出操作步骤截图:

Master主机名与IP关系:

创建Master主机明,选择Spark的机器作为Master,修改前截图主机文件信息如下:


修改后,重启机器,截图如下:


主机名修改后,打开etc/hosts文件,截图如下:



修改后的截图如下:



验证主机名和IP对应关系是否对:



Slave1主机名与IP关系:

创建Slave1主机明,选择Slave1的机器作为Slave1,截图信息如下:


重启机器,查看修改,截图如下:


主机名修改后,打开etc/hosts文件,配置操作内容如下图:



验证IP和主机名对应关系:



Slave2主机名与IP关系:

创建Slave2主机明,选择Slave2的机器作为Slave2,截图信息如下:




重启机器,查看修改,截图如下:


主机名修改后,打开etc/hosts文件,配置操作内容如下图:



验证IP和主机名对应关系:



在每台机器的/etc/hosts文件中加入另外两台机器的主机名和IP对应关系

为了在每个机器中可以通过ping 主机名都能ping通,在每台机器中都设置其他机器的主机名和IP对应关系,操作截图如下:

在Slave2的/etc/hosts文件加上Master与Slave1

截图如下:

验证配置成功:



在Slave1的/etc/hosts文件加上Master与Slave2

截图如下:

验证配置:



在Master的/etc/hosts文件加上Slave2与Slave1

截图如下:

验证配置:



执行完上面的操作,早起简单的准备工作已经完成了!下面要设置SSH无密码验证配置!在下一篇博文进行!

原创粉丝点击