cloudera manager维护相关(系统日志相关)
来源:互联网 发布:网络机顶盒哪个牌子的好 编辑:程序博客网 时间:2024/04/28 06:19
今天登入上CM,发现报了很多警告,大致查看了一下,基本上都是日志目录的磁盘剩余空间低于预设的监控阀值了。于是我查看了一下基本上服务的日志信息都保存在/var/log下面具体服务的目录下面。然后我偷懒了,直接rm -rf /var/log,将/var/log下面的目录及文件全部删除了。(其实我还考虑到如果集群还运行着去删日志可能会出问题,我还特地把集群都停了,然后再删的日志目录)
然后我就悲剧了,集群起不来了。然后我索性把机器装CM的机器也重启了一下,这下更好玩了,CM也起不来了!!火急火燎啊,CM本来装好了会添加到系统服务中开机自动启动了,这回竟然没起来,也没有日志文件!于是我手动执行了一下service cloudera-scm-server start ,终于问题暴露出来了,没有日志目录的写入权限。
这个问题就是我前面不小心把cm的日志目录删除掉了的原因导致的。于是我按照控制台曝出的错误,我手工执行了如下命令:
mkdir /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server
chmod g+w /var/log/cloudera-scm-server
恢复了cm server的目录。
然后我又运行了一下service cloudera-scm-agent start启动agent,曝出的也是同样的错误,于是执行如下命令恢复agent的日志目录:
mkdir /var/log/cloudera-scm-agent
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-agent
chmod g+w /var/log/cloudera-scm-agent
然后重新reboot机器,OK,CM终于自动启动起来了。进入CM,启动集群,集群也顺利启动起来了,一切恢复正常,日志目录的警告也没有了。不过这并不是管理日志的好方法,CM中每一项服务都有设置自己的日志目录,而且还有日志的管理功能,比如每个日志文件的最大文件大小(默认200M),最多滚动生成多少个日志文件(默认10个),按照这个默认的设置,一个服务满日志就会有将近2G的日志信息,这样对测试集群只有可怜的60G磁盘容量来说,确实是一个不小的负担。
于是可以考虑将滚动日志文件个数改小一点,改成2差不多就够了。记得每一个服务都要改。(但是免费版的CM有些服务不允许你改这项配置了,只有收费版才能改,悲剧啊,所以不得已还是手工删/var/log下面对应服务的日志吧,但是不要跟我一样偷懒了。)
- cloudera manager维护相关(系统日志相关)
- sqlserver 清除维护相关日志
- sqlserver 清除维护相关日志 转
- 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
- 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
- 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
- Cloudera学习(1)------安装Cloudera Manager
- AIX系统日志相关知识
- cloudera hadoop相关源码下载
- Cloudera Manager(CDH5)内部结构、功能包括配置文件、目录位置等 2016-05-26 15:46 2112人阅读 评论(0) 收藏 举报 分类: CDH(19) 1. 相关
- 日志(log)相关
- cloudera manager
- cloudera manager
- cloudera manager
- 【黑马程序员】系统日志相关知识(学习笔记)
- AVD Manager相关
- 日志相关
- 日志相关
- Cracking the coding interview--Q1.7
- Ajax验证用户名是否已经存在.
- 启动tomcat服务时,报解析/WEB-INF/applicationContext.xml异常或找不到该文件
- C语言中的static inline
- struts.properties配置详解
- cloudera manager维护相关(系统日志相关)
- ios运行时
- C语言中用选择法排序
- 【数论函数变换总结】【超长篇】【last update:2014-10-22】
- ThinkPad T410S 上 Ubuntu 14.04 实现指纹识别登录
- nyoj 814 又见拦截导弹
- 缓存
- 第七章 7.5.1节练习
- 感谢火车上偶遇的贵人