搭建Hadoop分布式集群------前期准备
来源:互联网 发布:unity3d 数据库 编辑:程序博客网 时间:2024/05/23 01:16
前期准备:
准备机器和设置机器在局域网内
在VirtualBox中准备第二、第三台运行Ubuntu系统的机器。第二台与第三台机器,是直接拷贝第一台机器获得,所有配置信息都一样。单机都是伪分布式模式的ubuntu系统的机器。
搭建Hadoop分布式集群环境只用三台机器是因为:三台机器是成功配置Hadoop分布式集群运行环境的最小数量,不会因为现有的机器内存或者磁盘空间的局限而导致搭建集群环境失败;三台机器的集群环境配置的步骤和多台机器完全一致!
机器准备好之后,不要基于部署,因为复制过来的机器,网络设置都是一样的,ip信息都是一致的,这需要对着三台机器进行网络配置,使它们在一个局域网内,那样在之后配置才能正确的进行下去,关于把三台机器加入同一个局域网链接:http://blog.csdn.net/henni_719/article/details/77746317!
验证每个机器的伪分布式模式是否成功
打开每个机器,启动hadoop服务,验证环境是否成功,再次只验证Slave1、Slave2截图如下:
配置Hadoop分布式集群环境
修改主机名并配置主机名和IP地址的对应关系
在每台机器的/etc/hostname中修改主机名,修改主机名如果修改完后,主机名未变化,需要重启机器,开机就会发现主机名已发生变化!下面给出操作步骤截图:
Master主机名与IP关系:
创建Master主机明,选择Spark的机器作为Master,修改前截图主机文件信息如下:
修改后,重启机器,截图如下:
主机名修改后,打开etc/hosts文件,截图如下:
修改后的截图如下:
验证主机名和IP对应关系是否对:
Slave1主机名与IP关系:
创建Slave1主机明,选择Slave1的机器作为Slave1,截图信息如下:
重启机器,查看修改,截图如下:
主机名修改后,打开etc/hosts文件,配置操作内容如下图:
验证IP和主机名对应关系:
Slave2主机名与IP关系:
创建Slave2主机明,选择Slave2的机器作为Slave2,截图信息如下:
重启机器,查看修改,截图如下:
主机名修改后,打开etc/hosts文件,配置操作内容如下图:
验证IP和主机名对应关系:
在每台机器的/etc/hosts文件中加入另外两台机器的主机名和IP对应关系
为了在每个机器中可以通过ping 主机名都能ping通,在每台机器中都设置其他机器的主机名和IP对应关系,操作截图如下:
在Slave2的/etc/hosts文件加上Master与Slave1
截图如下:
验证配置成功:
在Slave1的/etc/hosts文件加上Master与Slave2
截图如下:
验证配置:
在Master的/etc/hosts文件加上Slave2与Slave1
截图如下:
验证配置:
执行完上面的操作,早起简单的准备工作已经完成了!下面要设置SSH无密码验证配置!在下一篇博文进行!
阅读全文
0 0
- 搭建Hadoop分布式集群------前期准备
- Hadoop之——Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)前期准备
- MPICH2 Linux集群搭建前期准备
- Hadoop分布式集群搭建 (一 Centos7 环境准备)
- hadoop分布式集群搭建
- hadoop分布式集群搭建
- 搭建Hadoop分布式集群
- hadoop分布式集群搭建
- hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- Hadoop分布式集群搭建
- hadoop分布式集群搭建
- Hadoop分布式集群搭建
- hadoop 分布式集群搭建
- 遇到的那些可爱的面试题12
- Python: XML文件解析
- Weighted-Entropy-based Quantization for Deep Neural Networks
- 你与高薪仅差一本Kotlin
- 快速实现网易新闻框架搭建
- 搭建Hadoop分布式集群------前期准备
- C#基础-033 创建一个学员类,并设计三个字段用于表示学生的成绩(语文、数学、英语);然后定义一个数组表示一个班的学生(10人),依次输入每个学生的信息和成绩,输入的同时将学员的每科成绩划分等级
- Python实现数据结构
- C++类中指针成员的管理(值型类、智能指针)
- C# 中的委托和事件
- LeetCode-16. 3Sum Closest
- Application.DoEvents()
- 全新一次的安卓面试
- Android开发之Hybrid开发+实战