自己搭建5节点分布式集群
来源:互联网 发布:unity3d入门文章 编辑:程序博客网 时间:2024/06/05 16:27
一 集群规划
1 搭建虚拟机环境 :系统 centos6.5
Ip 192.168.131.141-145
名称 deer1-deer5
修改网卡配置之后,全部连接到shell
统一配置DNS
网络均已畅通
主机详细规划:
软件规划:
用户规划:
创建每个节点的用户和用户组,名字均为hadoop(注意设置密码,否则配置SSH会出问题 )
时钟同步
Hosts文件检查
禁用防火墙
配置SSH
先安装SSH
配置ssh
分发公钥
互联成功
二JDK安装配置
JDK安装及环境变量配置:(学习到下面脚本才知道不用一个一个手动安装55555555)
脚本工具的使用:遇到问题
百度查到以下资料
按照说明解决之后(用:set ff=unix 的办法)
脚本运行成功
JDK环境正常
三zookeeper安装配置
安装zookeeper
配置zoo.cfg
用脚本将zookeeper拷贝到其他节点
创建数据目录
创建myid在每个节点上
配置环境变量
启动zookeeper
启动是start 关闭是stop
启动所有节点zookeeper
四hadoop安装配置
上传hadoop2.6.0并解压
配置hadoop-env.sh
配置core-site.xml
配置hdfs-site.xml文件
按照说明配置,直接粘贴
配置slave
向其他远程节点分发hadoop安装包
deploy.sh hadoop /home/hadoop/app/ slave
配置环境变量
每个节点都做配置
Zookeeper已经启动
远程启动journalnode
格式化namenode
格式化成功
格式化高可用
格式化高可用时报错
第二天重新开机,启动集群之后,啥也没改,格式化高可用就好使了。。。。!@#¥%……
启动所有节点上面的Zookeeper进程
runRemoteCmd.sh "/home/hadoop/app/zookeeper/bin/zkServer.sh start" zookeeper
启动所有节点上面的journalnode进程
runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all
重新格式化主节点,高可用
bin/hdfs namenode -format
bin/hdfs zkfc -formatZK
bin/hdfs namenode
启动namenode时,不用理会,直接找第二个主节点
bin/hdfs namenode -bootstrapStandby
按下ctrl+c来结束第一个主节点namenode进程。 然后关闭所有节点上面的journalnode进程
runRemoteCmd.sh "/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all
一键启动hdfs所有相关进程
sbin/start-dfs.sh
配置yarn
配置mapred-site.xml yarn-site.xml并分发到其他节点
运行wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /test/demo.txt /test/out/
至此,5节点集群搭建完毕
阅读全文
0 0
- 自己搭建5节点分布式集群
- 基于hadoop2.6.0搭建5个节点的分布式集群
- 5节点Hadoop分布式集群搭建-超详细文档
- 基于hadoop2.6.0搭建5个节点的分布式集群
- 5节点Hadoop分布式集群搭建经验分享
- 【hadoop】5001- 搭建分布式集群节点规划
- 搭建3个节点的分布式集群
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- 多节点分布式集群
- 大数据分布式集群搭建(5)
- hadoop分布式集群搭建
- Zookeeper分布式集群搭建
- 搭建Spark分布式集群
- Zookeep分布式集群搭建
- hadoop分布式集群搭建
- 搭建Spark分布式集群
- HBase分布式集群搭建
- Storm分布式集群搭建
- HashMap和Hashtable的区别
- Git 与 SVN
- 多线程函数实例解析
- bzoj 1119置换群
- 选择排序
- 自己搭建5节点分布式集群
- php-人员权限管理(RBAC)
- Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)(草稿)
- 进程间通信-信号量
- 尤jx的科研经验
- 从源码看kubernetes与CNI Plugin的集成
- h5语义化标签
- jsp内置对象
- Android studio 常用的插件