【源】从零自学Hadoop(06):集群搭建
来源:互联网 发布:淘宝关键词广告 编辑:程序博客网 时间:2024/04/30 14:47
- 序
- 集群搭建
- 监控
- 系列索引
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink
序
上一篇,我们把Ambari的环境基本搭建好了,那么我们趁热打铁,打造我们的第一个HDP集群,这样,离我们下一步就越来越近了,在安装中还是会碰到很多想不到的情况的。所以,注意分析,找到解决方法很重要。
对了,这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。
集群搭建
一:登陆
使用我们设置的Ambari服务器登陆,还记得么,在H30上面。
二:主界面
我们看到圈起来的地方就是我们要搭建集群的地方。
三:新建集群
这里,我们使用MyCluster作为我们第一个集群的名称。
四:选择HDP版本和源
我们当然选择最新的HDP2.3,玩就玩最新的,要不老是在别人后面,多不好啊。
这里我们得设置HDP和 HDP-UTILS的源,我们已经搭建好了仓库,可以直接使用本地源了。
五:将SSH私有Key放到本机
由于是页面登陆,当然如果H30开启了GUI界面,是可以不用这个操作的。
目前我们使用的没有GUI界面的Linux,所以,得在浏览器使用的机器上能使用的到ssh private key。
过程很简单,就不上图了。
六:选择带集群的机器
这里我们选择了事前准备好的H31,H32,H33这3台机器,由于本机的性能一般,很快内存,IO就占满了,所以没有使用很多的机器做集群。
七:修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo
将线上库改成本地的http资源。
八:Confirm Hosts
核实主机群。确保这里待集群主机有符合的运行环境。
九:选择待安装库
我们根据自己的需要来选择带安装的。
十:集群结构搭建
我们选择H31作为主NameNode,H32作为Second NameNode。
十一:集群结构搭建2
选择H31,H32作为NodeManager,H33,H34作为DataNode
十二:自定义服务群
这里,一半NameNode需要比较大内存的,但是没办法,所以 这里也不自定义修改了,就那么多,全用了。
十三:Review
Review下我们的配置情况。
十四:Deploy
开始安装等环节了。
十五:Deploy2
我们可以看到success了。
十六:Summary
安装过程的总结。
监控
一:仪表盘
在这里,我们可以全面,直观的看到整个集群的运行情况,可以大大的提高了运维的效率。
二:服务
在这里,可以看到例如HDFS,Zookeeper,SparK这些服务的情况。
三:Hosts
我们可以看到,集群中所有的主机信息,状态。
四:报警
如果集群中出现了什么问题,这里是可以实时的监控的到的,很是方便。
到此,我们这章节的内容已经完毕,基本上环境搭建的部分告一段落,后面我们就是对HDP的应用了。
系列索引
【源】从零自学Hadoop系列索引
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink
- 【源】从零自学Hadoop(06):集群搭建
- 从零搭建Hadoop集群
- 从零搭建Hadoop集群 二
- 从零搭建Hadoop集群 三
- 从零搭建Hadoop集群 四
- 从零搭建Hadoop集群 五
- 【源】从零自学Hadoop(05):Ambari
- 【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- 【源】从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上
- 【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- 【源】从零自学Hadoop(01):认识Hadoop
- 【源】从零自学Hadoop(11):Hadoop命令上
- 【源】从零自学Hadoop(12):Hadoop命令中
- 【源】从零自学Hadoop(13):Hadoop命令下
- 【源】从零自学Hadoop(07):Eclipse插件
- 【源】从零自学Hadoop(02):环境准备
- 【源】从零自学Hadoop(03):Linux准备上
- 【源】从零自学Hadoop(04):Linux准备下
- 【源】从零自学Hadoop(03):Linux准备上
- 【源】从零自学Hadoop(04):Linux准备下
- 贪心&Moving Tables
- 【源】从零自学Hadoop(05):Ambari
- 关于以dll调用dll的几个小问题
- 【源】从零自学Hadoop(06):集群搭建
- 希尔塔网络科技(外包)公司开技术博客啦!
- 【源】从零自学Hadoop(07):Eclipse插件
- 关于“闭包”的杂文
- 【源】从零自学Hadoop(08):第一个MapReduce
- 【源】从零自学Hadoop(09):使用Maven构建Hadoop工程
- 【源】从零自学Hadoop(10):Hadoop1.x与Hadoop2.x
- 【源】从零自学Hadoop(11):Hadoop命令上
- 【源】从零自学Hadoop(12):Hadoop命令中