flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
来源:互联网 发布:矢量图软件哪个好 编辑:程序博客网 时间:2024/05/22 03:39
案例目标: 将flume3节点的中一个日志文件的动态变化 在 flume2节点的终端输出
案例总体设计:
flume3节点的配置文件
# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1## Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /application/flume/logs/access.log## Describe the sinka1.sinks.k1.type = avroa1.sinks.k1.hostname = flume2a1.sinks.k1.port = 44444## Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100## Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 44444 # Describe the sinka1.sinks.k1.type = logger # Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
测试验证
先启动flume2
bin/flume-ng agent --conf conf/ --conf-file conf/avro_source_logger_sink.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34343 -Dflume.root.logger=INFO,console &再启动flume3
bin/flume-ng agent --conf conf/ --conf-file conf/exec_source_avro_sink.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34343 -Dflume.root.logger=INFO,console &
flume2上可以看到结果
1 0
- flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
- 判断一个节点是不是另一个的节点的子节点;
- 创建一个简单的device_create_file文件节点
- 往xml文件中加入一个节点的简单实现
- 判断一个节点是否是另一个元素的子节点
- 在二叉树中找到一个节点的后继节点
- 在二叉树中找到一个节点的后继节点
- 动态查询一个树形结构表中:某一个节点的所有父节点或者子节点
- 有限状态机的简单使用案例:“将字符串中多于一个的空格变为一个空格输出”
- mfc CtreeCtrl上添加图标、将一个对话框放在另一个对话框上、CTreeCtrl响应不同的节点
- 在无头单链表的一个节点前插入一个节点
- 在log4j中,输出另一个日志文件的配置方式
- Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件
- 一个进程的输出结果在另一个进程中显示
- 创建一个简单的debugfs文件系统节点
- 一个简单的目录节点类定义
- java中 功能:演示文件字符流的案例 * 将文件从一个文件夹复制到另一个文件夹 */
- Flume应用之三——将一个服务器上的日志实时采集到另一个服务器上
- 字符串相关类型题目及其实现
- Flexbox布局(2)
- 剑指Offer----面试题八:旋转数组的做小数字
- HTTP请求报文和HTTP响应报文
- iOS开发的几个小问题(二)
- flume 简单案例 将一个节点的中一个日志文件的动态变化 在 另一个节点的终端输出
- C++ 高级篇(五)—— 预处理指令
- OC 类方法的调用
- 3.矩阵分析与应用
- Hibernate级联查询实体关系映射
- C++ 标准函数库 —— 文件的输入输出 (Input/Output with files)
- 深入理解散列表(哈希表)
- 数据库的关系代数六大基本操作符
- MyEclipse无法启动(闪退)的一种解决