scribe架构
来源:互联网 发布:ai软件下载教程 编辑:程序博客网 时间:2024/06/05 20:24
1、概述
Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网络或者机器出现故障时,scribe会将日志转存到本地或者另一个位置,当中央存储系统恢复后,scribe会将转存的日志重新传输给中央存储系统。
2、架构
如上图所示,Scribe从各种数据源上收集数据,放到一个共享队列上,然后push到后端的中央存储系统上。当中央存储系统出现故障时,scribe可以暂时把日志写到本地文件中,待中央存储系统恢复性能后,scribe把本地日志续传到中央存储系统上。
0 0
- scribe架构
- scribe 架构及其store
- scribe
- Scribe
- scribe 研究
- scribe安装
- scribe配置
- Scribe安装
- scribe编译
- scribe概述
- scribe study
- Facebook Scribe介绍
- thrift+scribe安装+hadoop
- scribe安装笔记
- Scribe应用实例
- Scribe核心分析
- Facebook scribe部署实践
- log4j 客户端写入scribe
- 黑马程序员---02类和对象
- C专家编程-数组和指针并不相同
- uva--10282+hash
- sys/class接口
- Java中网络通信的要素
- scribe架构
- Linux下RPM软件包的安装及卸载
- iOS UIButton 常用设置
- CentOS 6安装配置Xen
- 黑马程序员-java基础之正则表达式
- 临时表真的不生成redo日志吗?
- Fragment和Activity
- 线段树区间合并——POJ 3667
- web service 笔记