ChukWa
来源:互联网 发布:python urllib2 编辑:程序博客网 时间:2024/05/27 09:46
ChukWa
来源:http://www.javabloger.com/article/hadoop-chukwa.html
Chukwa 是什么?
在印度神话中Chukwa是一只最古老的龟。它支撑着世界。在它的背上还支撑着一种叫做Maha-Pudma的大象,在大象的背上顶着这个地球。呵呵,大象?Hadoop?不难理解为什么在Hadoop中的这个子项目叫做Chukwa了,或许Chukwa的其中一位开发者是印度人?呵呵,我瞎猜的,神话中的Chukwa的,貌似是这样的,如图所示:
Chukwa是由Yahoo贡献,基于Hadoop的大集群监控系统,可以用他来分析和收集系统中的数据(日志)。Chukwa运行HDFS中存储数据的收集器和MapReduce框架之上,并继承了Hadoop的可扩展性和鲁棒性, Chukwa使用MapReduce来生成报告,他还包括一个用于监测和分析结果显示的web-portal工具,通过web-portal工具使这个收集数据的更佳具有灵活性,这点有点像是类似 linux工具,例如:awk 。这几乎是一个日志处理/分析的full stack solution,国内用hadoop做日志分析的,或者将要做日志分析的可以关注下。
搭建、运行Chukwa要在Linux环境下,要安装MySQL数据库,在Chukwa/conf目录 中有2个SQL脚本 aggregator.sql、database_create_tables.sq l 导入MySQL数据库,此外还要有Hadoo的HDSF运行环境,Chukwa的整个系统架构如图所示:
Chukwa 由哪几个组件组成的?
Chukwa是Yahoo开发的Hadoop之上的数据采集/分析框架,主要用于日志采集/分析。该框架提供了采集数据的Agent,由Agent采集数据通过HTTP发送数据给Cluster的Collector,collector把数据sink进Hadoop,然后通过定期运行Map reducer来分析数据,将结果呈现给用户。
Chukwa 有以下4个主要的组成部分:
Agent 收集各服务器的数据
Collectors 接收agent的数据;并写进存储
MapReduce jobs 归档数据
HICC 就是 Hadoop Infrastructure Care Center的四个英文单词的缩写,简单来说是个Web工程用于ChukWa的内容展示。
几个部件大致的处理流程如下:
在这个Blog中后续会对ChukWa有进一步的描述,再次感谢你的阅读。
- ChukWa
- chukwa
- chukwa简介
- chukwa 介绍
- chukwa安装
- chukwa 介绍
- chukwa介绍
- chukwa安装
- Chukwa安装配置
- 求助:chukwa如何安装
- Chukwa的部署尝试
- Chukwa应用实践
- Introduction to Chukwa
- Chukwa 0.5下载地址
- 集群工具chukwa和ganglia
- hadoop状态分析系统chukwa
- hadoop状态分析系统chukwa
- hadoop状态分析系统chukwa
- Android学习05Camera图像采集
- CALLBACK函数(转) - C/C++
- 有理想的程序员必须知道的15件事
- 混合模式程序集是针对“v2.0.50727”版的运行时生成的,在没有配置其他信息的情况下,无法在 4.0 运行时中加载该程序集
- 状态栏上加时间
- ChukWa
- linux svn 命令
- treeview
- 4700万的阿斯顿马丁ONE-77
- 根据显示器不同分辨率调用不同的css样式
- lunar
- shmat的帖子
- 编写及使用lib
- 公共分类测试数据集