CentOS搭建分布式集群环境
来源:互联网 发布:胡公子淘宝店 编辑:程序博客网 时间:2024/05/22 08:20
1、
前面说了如何在centos上搭建伪分布式环境,并且也做了一些例子进行测试,简易大家在看之前可以先看一下伪分布式的搭建
2、
1、分布的结构
(1)在这里我们需要三台linux,一个作为主节点,两个作为从节点。分别起名字为nodename,nodename1,nodename2.
(1.1)进入虚拟机,关闭nodename系统,点击nodename右键–管理–克隆–下一步–完全复制–下一步–选择目录–完成。分别克隆两个名字如上所述
(2)主节点包含namenode,jobtracker,secondarynamenode。从节点包含datanode,tasktracker
2、对两个子节点的haosts文件进行配置vi /etc/hosts
每个节点都有一份这样的
3、修改主机的名字vi /etc/sysconfig/network
每个节点都修改
4、各个节点之间从新产生加密文件
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacp id_rsa.pub /root/.ssh/authorized_keys然后执行ssh localhostssh nodename
其他节点一样
5、jdk和hadoop在这里就不多说了 多的一点是在主节点也就是nodename节点的vi /usr/local/hadoop/conf/slaves
6、ssh两个节点间的免密码登录
(1)在nodename中执行ssh-copy-id -i nodename1
然后执行ssh nodename1
(2)在nodename2中执行ssh-copy-id -i nodename1
然后执行ssh nodename1
(3)然后把nodename中的/etc/.ssh/authorized_keys文件分别拷贝到nodename和nodename2中
7、然后再主节点执行hadoop namenode -format
8、在执行start-all.sh
9、执行jps产看进程
10、至此 配置结束
- CentOS搭建分布式集群环境
- hadoop伪分布式集群环境搭建--基于CentOS
- 分布式存储 CentOS虚拟机环境搭建FastDFS集群
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (3)
- 环境搭建-CentOS集群搭建
- HBase分布式集群环境搭建
- Spark 分布式集群环境搭建
- Hadoop分布式集群环境搭建
- 基于Virtual Box搭建centos 7集群以及各类分布式系统环境搭建
- zookeeper集群环境搭建(centos)
- Hadoop集群完全分布式搭建教程-CentOS
- CentOS hadoop 分布式集群的搭建
- Hadoop集群完全分布式搭建教程-CentOS
- Hadoop集群完全分布式搭建教程-CentOS
- CentOS中搭建Redis伪分布式集群
- 将项目发布到 maven 中央仓库踩过的坑
- java中拼音和中文互相转换
- 【mysql】根据不同条件查询表中同一字段
- 入门
- Gson 的坑
- CentOS搭建分布式集群环境
- maven
- Linux第三方系统性能检测工具介绍
- windows系统下安装linux双系统(问题解决)
- 白帽子讲web安全第二章笔记
- 我的kmeans聚类 python代码
- ocx注册单元
- Python-基础学习笔记(二)
- md5加密