CDH使用秘籍(二):cloudera Manager中监控数据的存储
来源:互联网 发布:马克斯cms 免费模板 编辑:程序博客网 时间:2024/05/22 09:54
CDH使用秘籍(二):cloudera Manager中监控数据的存储
概述
上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式,怎样配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。
Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看相应的Cloudera Manager的存储连接,发现Service Monitor和Host Monitor的存储使用的是levelDB的解析类,由此可以推断出本地存储使用的是levelDB。LevelDB可以说是key-value的数据库的鼻祖,读写效率特别高,并发也很大,而Cloudera Manager的监控的读写数据特别多、频繁。这也可能是Cloudera Manager5选择使用levelDB替换关系数据库的原因。
Cloudera Manager 5 存储Host Monitor 和 Service Monitor数据到本地数据库。如果使用自动化升级配置从Cloudera Manager 4 升级到 5,数据会从Cloudera manager 4 中的内嵌数据库或者外部数据库中自动迁移到Cloudera Manger5中的本地数据库中。这是一个自动化执行的过程中,中间可以查看迁移过程的日志等。
Service Monitor存储了时间序列和健康数据,Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/目录下,你也可以修改Service Monitor Storage Directory 配置firehose.storage.base.directory。
You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following configuration options:
Time-series metrics and health data - Time-Series Storage (firehose_time_series_storage_bytes - 10 GB default)
Impala query metadata - Impala Storage (firehose_impala_storage_bytes - 1 GB default)
YARN application metadata - YARN Storage (firehose_yarn_storage_bytes - 1 GB default)
Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/目录下,你也可以修改Host Monitor Storage Directory 配置。
You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:
Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes - 10 GB default)
Service Monitor 和 Host Monitor使用很多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度,比如每一个小时,会把数据的平均值,最小值,最大值汇总成一个小时为粒度的数据,每6个小时,会汇总成6个小时的数据。每天、每个星期等。这种方式只会汇总指标数据。Impla的查询和Yarn应用的监控数据当接近限制时,会删除旧的数据。
当存储快达到限制时,会先删除粒度最细的数据,保证存储空间的释放。比如会先删除小时为粒度的数据,其次是以天微粒度的数据。
Moving Monitoring Data on an Active Cluster
Host Monitor and Service Monitor Memory Configuration
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- cloudera Manager中监控数据的存储
- CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
- CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
- CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
- 使用cloudera-manager CDH大数据集群运维工作记录
- 使用cloudera manager 安装CDH时,界面提示修改swappiness
- Cloudera Manager及CDH安装
- 关于CDH和Cloudera Manager
- 通过Cloudera Manager安装CDH
- (转载)Cloudera manager free 的使用
- CDH 的Cloudera Manager免费与收费…
- 记录采用cloudera-manager安装CDH集群的过程
- [CDH--版本要求]--CDH 5和Cloudera Manager 5要求和支持的版本
- π__π苦逼的周末
- Evaluation is not mapped hql 语句出错
- CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
- 默然日记20151116
- UITableView的一些常用方法
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- Android Studio查看SHA1和MD5(附带keystore创建)
- MVC小结
- 十道海量数据处理面试题与十个方法大总结
- 选择、插入、气泡排序
- hibernate优化方案(包括连接数据库批处理方法)
- hibernate 映射生成表注意 create 与 update
- Struts2 Action中 两种传值方式 模型驱动Model-Driven和属性驱动Property-Driven小结
- 1.怎么写Action类? 2.Action的方法,怎么样跟请求对应 3.Action中怎么获取作用域通讯对象