SODBASE CEP学习进阶篇(二)续:日志采集-Flume Syslog采集
来源:互联网 发布:001a航母 知乎 编辑:程序博客网 时间:2024/06/06 03:17
相比Flume,笔者更推荐使用Logstash做日志采集,见SODBASE CEP学习进阶篇(二)续:日志采集-Logstash、Kafka和CEP集成。如果之前项目中已经选型使用Flume,则本文供参考。
1. 启动CEP模型
启动CEP Server
./catalina.sh run
下载loganalysis.sod CEP模型文件。
使用Server Admin将loganalysis.soddata2安装到CEP Server,并启动,控制台输出
May 29, 2016 5:14:26 PM com.sodbase.cep.graphmodelexecutor.GraphModelExecutorImpl resetGraphModelInstatnceINFO: com.sodbase.outputadaptor.PrintEventOutputAdaptor'start cep model CEPModelPrimaryKey [modelname=loganalysis, modelspacename=admin, version=1.0, serveraddress=localhost:16111] startnothotswap','admin','2016-05-29 17:14:26
2. 配置flume
下载apache-flume-1.5.2-bin.zip,解压自定义目录。将SODBASE Studio lib目录下的sodbase-cep-engine.jar,sodbase-studio.jar,sodbase-dataadaptor-socket.jar,sodbase-dataadaptor-flume.jar拷贝到flume的lib目录下。
在flume的conf目录下编辑配置文件
$ vi syslog_tcp.conf
a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = syslogtcpa1.sources.r1.port = 5140a1.sources.r1.host = localhosta1.sources.r1.channels = c1# Describe the sinka1.sinks.k1.type = com.sodbase.dataadaptor.flume.CEPServerSinka1.sinks.k1.channel = memoryChannel#修改为CEP Server的地址,端口与loganalysis的输入中配置的端口一致a1.sinks.k1.CEPServerSocketIpPort=localhost:12345a1.sinks.k1.CEPServerSocketRetryNum=2# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
运行flume采集,在flume的bin目录下
$ ./flume-ng agent -c . -f ../conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console
3. 测试
$ echo "hello idoall.org syslog" | nc localhost 5140
在CEP Server的控制台输出
Sun May 29 17:18:41 CST 2016 T1 flumeeventdata: d1,d2,d3 Sun May 29 17:18:41 CST 2016 Sun May 29 17:18:58 CST 2016 T1 flumeeventdata: d4,d5,d6 Sun May 29 17:18:58 CST 2016
4. UDP syslog
在flume配置文件中,修改
a1.sources.r1.type = syslogudpa1.sources.r1.host = 0.0.0.0
测试时使用
$ echo "hello idoall.org syslog" | nc -u localhost 5140
开发者社区活动,使用SODBASE产品的程序员现在可以领礼品啦
0 0
- SODBASE CEP学习进阶篇(二)续:日志采集-Flume Syslog采集
- SODBASE CEP学习进阶篇(二):日志采集-Flume
- SODBASE CEP学习进阶篇(二)续:日志采集-Logstash、Kafka和CEP集成
- SODBASE CEP学习进阶篇(二)续:日志采集之外的APM探针方法
- SODBASE CEP学习进阶篇(七)续:SODBASE CEP与Spark streaming集成-低延迟规则管理
- SODBASE CEP学习进阶篇(七):SODBASE CEP与Spark streaming集成
- SODBASE CEP学习(一):SODBASE CEP简介
- SODBASE CEP学习进阶篇(一):除了Java还有C++
- SODBASE CEP学习进阶篇(三):自己写输入输出适配器
- SODBASE CEP学习进阶篇(四):自己控制时钟和时间戳
- SODBASE CEP学习进阶篇(五):与分布式缓存集成
- SODBASE CEP学习进阶篇(六):实现反压和流限速
- SODBASE CEP学习(二):运行第一个EPL例子
- flume日志采集
- flume日志采集
- Flume日志采集
- flume日志采集
- flume日志采集
- 第5课时《osg矩阵变换(下)》
- Codeforces Round #320 (Div. 2) [Bayan Thanks-Round]B Finding Team Member
- myeclipse安装和基本配置
- iOS 网络篇4—GET请求和POST请求
- 《剑指offer》——二维数组中的查找
- SODBASE CEP学习进阶篇(二)续:日志采集-Flume Syslog采集
- ReactiveCocoa操作方法(过滤,秩序,时间,重复)
- 算法思想系列--分治策略(Divide-Conquer-Combine)(待补充)
- LeetCode-78.Subsets
- POJ1287 Networking
- SonarQube
- mybatis 中resultType与resultMap区别
- ACM--田忌赛马--贪心--HDOJ 1052--Tian Ji -- The Horse Racing
- next-permutation