flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集
来源:互联网 发布:激光剑多少钱淘宝网 编辑:程序博客网 时间:2024/06/06 05:52
首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步!
flume级别的架构使用(常用模式)
直接上干货,文字性的描述有
1.介绍:
log是各个分布式服务的日志,可用从web的service产生的log
Source组件(每一个的)都是采集不同的service的服务的log
channel组件(每一个的)都是接收不同source传过来的log
Sink组件(每一个的)都是接收对应的channel管道的log
上面所有的服务的都需要再次汇总到一个flume的source组件中,在通过一样的关系在下沉到你想要到的地方
2.好处:
这种模式也是可以达到复制日志的目的,尤其是在最后使用的一个Sink中下沉的时候可以复制存储到不同的位置.比如hdfs中。
这种模式也是可以达到分流的作用,尤其是在最后使用的一个Sink中下沉的时候可以分流到不同的地方
3.也能实现负载均衡:
负载均衡:英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务.
上面完成的也是多个的并行执行模式
0 0
- flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集
- 基于Flume+Log4j+Kafka的日志采集架构方案
- 基于Flume+Log4j+Kafka的日志采集架构方案
- 日志采集框架Flume的安装及使用
- 使用flume+hive采集Web服务器的access日志
- Flume采集rsyslog发送的audit日志
- ZooKeeper:一个用于分布式应用的分布式协调服务
- Scala的实际应用场景
- Nosql的实际应用场景
- IntentService的实际应用场景
- Nosql的实际应用场景
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- 分布式数据日志收集之Flume的安装和使用
- Runtime的实际使用场景
- flume-ng 实际应用例子,flume采集log4j日志
- 日志级别的使用
- new的实际形式
- RxJava + Retrofit 的实际应用场景
- JAVA——Random
- 第十三周项目 动物这样叫 2.3
- 基于 CodeIgniter 的各类开源项目大全
- Xcode:duplicate declaration of method 'XXX'
- 从今天起,开启blog生活方式
- flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集
- 基础算法4——回溯(backtracking)【未完待续】
- 【堆+模拟】[CodeForces-235E]printer
- 利用反射机制编写一个程序,这个程序能指定调用类的某个方法及构造方法,并把操作信息输出到控制台。
- php curl 302
- mysql数据表中文乱码解决办法
- 【51nod】 第K大区间2(二分+树状数组)
- block 实现原理详解(一)
- 老天待我不薄,又来这么一题POJ1753