CDH 集群定期清理指南
来源:互联网 发布:mac os支持office 2016 编辑:程序博客网 时间:2024/05/21 22:43
1、清除hdfs回收站
2 、 清空spark任务执行历史记录
hadoop fs -ls /user/spark/applicationHistory
清掉后再把回收站清理一下
3、cloudera manager清理
装cm的机器:/var/lib 路径下有如下文件:
主要清理cloudera-host-monitor 、cloudera-service-monitor
这两个文件下子目录带ts两个字母的目录下都会有partitions,直接清掉就ok
例:subject_ts、ts_subject、ts等带有ts的目录
4、yarn缓存文件清理
/yarn/nm 下逐级目录删,主要清空filecahe里的文件,这部分最站磁盘
5、集群hdfs数据做定期处理
6、集群各组件日志做定期处理
阅读全文
0 0
- CDH 集群定期清理指南
- logrotate定期清理日志
- 定期日志清理脚本
- Xcode定期清理
- 定期清理服务器日志
- CDH集群集成kafka
- cdh hadoop2集群安装
- cdh集群安装(入门)
- cdh集群安装(提高)
- cdh 5.8 集群安装
- CDH集群迁移
- CDH 修改集群IP
- CDH集群安装部署
- CDH集群环境要求
- CDH搭建hadoop集群
- CDH集群搭建部署
- 定期清理sql2005事务日志
- Linux 定期清理日志脚本
- 用Tensorflow Object Detection API 训练自己的数据集
- 【C#】asp:DropDownList控件选中值不变的问题
- 构建基于socket的HTTP请求类[转]
- 利用 VMWare 搭建随机拓扑网络
- nrm的安装 、定义和用法
- CDH 集群定期清理指南
- Android Camera使用和人脸检测
- CinemaDirector插件使用说明-个人总结
- 51Nod-1526-分配笔名
- 使用git命令 (git reset --hard HEAD) 回退版本信息
- maven安装jar包到本地仓库
- chrome控制台console方法表
- android 解析包错误
- 极光效果通发布重定向app拉活服务,为头部app提升DAU