shell脚本在容器云中搭建hadoop集群(七)
来源:互联网 发布:linux smart 编辑:程序博客网 时间:2024/06/05 03:10
总结一下今天的学习过程
1,用一句描述我今天上午的感受:这两天白忙活了
hadoop集群子所以不能正确完整启动成功:是因为分配的内存不够用,分配的内存不够用,分配的内存不够用(重要的事说三遍)
今天上午师兄调试我写的脚本,发现很慢,他说不应该这么慢的,查找发现没有什么大问题,看了下内存剩余空间以及我镜像的大小,说有点不合理,而且我的hadoop集群三个容器跑在一个主节点上,相对于docker来说,根本没有什么集群的概念在里面,于是我把另外两个docker节点关闭,为docker主节点增加内存到6.8G,奇迹发生了,竟然成功了,当时的心情是无语凝噎的,,,,,
需要修改的地方:
应使用kubernetes的flannel组件管理网络地址,用来固定容器主机名与IP地址的绑定,不使用bridge-utils以及pipework
将脚本再次整合,合理
明天将脚本在裸机上测试,验证
2,中午和师兄探讨了接下的任务,以及思考了我未来几个月要做学的大概知识。
3,下午新组装了一个机器,可悲的是数据丢失了,不停地分区,结果将数据盘整成逻辑分区了,数据丢失了,用工具恢复了一小部分,哎可悲
4,晚上继续看了MongoDB数据库开发结合mongoengine写了测试样例,以及观看了数据库开发的应用案例
充实的一天,明天加油
阅读全文
0 0
- shell脚本在容器云中搭建hadoop集群(七)
- shell脚本在容器云中搭建hadoop集群(一)
- shell脚本在容器云中搭建hadoop集群(二)
- shell脚本在容器云中搭建hadoop集群(四)
- shell脚本在容器云中搭建hadoop集群(五)
- shell脚本在容器云中搭建hadoop集群(六)
- shell脚本搭建容器云(-)
- 容器云下hadoop集群的搭建
- shell脚本搭建容器云(二)
- 在Centos系统中搭建Hadoop集群
- 搭建Hadoop并在集群中运行
- hadoop(七) - hadoop集群环境搭建
- Hadoop----集群搭建指南(中卷)
- shell脚本搭建容器云完结篇(三)
- hadoop集群启动和关闭shell脚本
- shell脚本完成hadoop的集群安装
- 在虚拟机下ubuntu中搭建hadoop.2.6.0集群
- 在shell脚本中如何调用hadoop 命令
- error: failed to push some refs to ‘http://git.du.com/目录/项目名称.git’ [ git did not exit cleanly (exit
- sublime text 3 build 3143 注册码
- 201703-2学生排队
- 如何做好一个项目负责人?
- Web前端优化
- shell脚本在容器云中搭建hadoop集群(七)
- 为什么要配置path,classPath,java_home
- 基于Mahout的电影推荐系统实现
- mysql服务启动:系统出错。发生系统错误 1067。进程意外终止。
- Linux 文件IO
- 新疆网络赛 G 题 Query on a string 【kmp/暴力匹配 + 树状数组 + 思维】
- 抽象类与接口和关键字
- connection limit仅对非superuser起作用,对superuser不起作用
- STM32使用Jlink烧写与boot合并烧写的方法