[日志处理工作之六]kafka的分区策略 and 构建flume或logstash的采集与解析agent集群
来源:互联网 发布:java会员管理系统源码 编辑:程序博客网 时间:2024/05/17 02:59
Kafka的分区策略是按照用户自定义的key字段,计算hashcode,按计算结果将该条日志存储到相应编号的分区中。
举个例子,比如DB2的一条日志:
2015-06-18-22.24.52.052782+480 I2676E403 LEVEL: Warning
PID : 14103 TID : 139828759111456 PROC : db2start
INSTANCE: db2inst1 NODE : 000
HOSTNAME: X
FUNCTION: DB2 UDB, base sys utilities, sqleGetStStLockFile, probe:14843
MESSAGE : Obtained exclusive mode lock on the file:
DATA #1 : String, 45 bytes /db2fs/home/db2inst1/sqllib/ctrl/db2strst.lck
1.用logstash解析的话,filter组件中抽取出processid字段
grok{
match=>{"message"=>"PID\s*:\s*%{NUMBER:processid}\s*TID"}
}
然后在output组件的kafka设置中指定该字段为key:
kafka {
topic_id=>"cluster"
broker_list=>"X.X.X.X:9092"
partition_key_format => "%{processid}"
}
这样logstash向kafka push数据的话kafka会对processid字段进行hashcode计算,源代码在core/src/main/scala/kafka/producer/DefaultPartitioner.scala
class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner {
private val random = new java.util.Random
def partition(key: Any, numPartitions: Int): Int = {
Utils.abs(key.hashCode) % numPartitions
}
}
如果名为“cluster”的topic有两个分区partition0 partition1,针对processid=14103进行partition,计算过程等同于
int h=0;
char val[] = {'1','4','1','0','3'};
if (h == 0 && val.length > 0) {
for (int i = 0; i < val.length; i++) {
h = 31 * h + val[i];
}
int hash = h%2;
}
结果为1,那上面的这条日志就会存储在partition1中。
可以通过命令bin/kafka-simple-consumer-shell.sh --broker-list X.X.X.X:9092 --topic cluster --partition 0 查看分区中的数据
2.使用flume的道理一样,kafka识别header中的key字段,flume在定义interceptor时把该拦截器的name指定为"key"即可。比如:
agent.sources.source1.interceptors.i17.type=regex_extractor
agent.sources.source1.interceptors.i17.regex =PID\\s+:\\s+([0-9]{1,5})\\s+TID
agent.sources.source1.interceptors.i17.serializers=s1
agent.sources.source1.interceptors.i17.serializers.s1.name=key
根据kafka 的设计,一个partition只能由一个group中的一个consumer取数据,当我们的解析agent数量小于partition数量时,partition会在agent上做分布,当相等时,agent与partition一一对应,当agent数量大于partition时,多出的agent不工作。
举个例子,比如DB2的一条日志:
2015-06-18-22.24.52.052782+480 I2676E403 LEVEL: Warning
PID : 14103 TID : 139828759111456 PROC : db2start
INSTANCE: db2inst1 NODE : 000
HOSTNAME: X
FUNCTION: DB2 UDB, base sys utilities, sqleGetStStLockFile, probe:14843
MESSAGE : Obtained exclusive mode lock on the file:
DATA #1 : String, 45 bytes /db2fs/home/db2inst1/sqllib/ctrl/db2strst.lck
1.用logstash解析的话,filter组件中抽取出processid字段
grok{
match=>{"message"=>"PID\s*:\s*%{NUMBER:processid}\s*TID"}
}
然后在output组件的kafka设置中指定该字段为key:
kafka {
topic_id=>"cluster"
broker_list=>"X.X.X.X:9092"
partition_key_format => "%{processid}"
}
这样logstash向kafka push数据的话kafka会对processid字段进行hashcode计算,源代码在core/src/main/scala/kafka/producer/DefaultPartitioner.scala
class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner {
private val random = new java.util.Random
def partition(key: Any, numPartitions: Int): Int = {
Utils.abs(key.hashCode) % numPartitions
}
}
如果名为“cluster”的topic有两个分区partition0 partition1,针对processid=14103进行partition,计算过程等同于
int h=0;
char val[] = {'1','4','1','0','3'};
if (h == 0 && val.length > 0) {
for (int i = 0; i < val.length; i++) {
h = 31 * h + val[i];
}
int hash = h%2;
}
结果为1,那上面的这条日志就会存储在partition1中。
可以通过命令bin/kafka-simple-consumer-shell.sh --broker-list X.X.X.X:9092 --topic cluster --partition 0 查看分区中的数据
2.使用flume的道理一样,kafka识别header中的key字段,flume在定义interceptor时把该拦截器的name指定为"key"即可。比如:
agent.sources.source1.interceptors.i17.type=regex_extractor
agent.sources.source1.interceptors.i17.regex =PID\\s+:\\s+([0-9]{1,5})\\s+TID
agent.sources.source1.interceptors.i17.serializers=s1
agent.sources.source1.interceptors.i17.serializers.s1.name=key
根据kafka 的设计,一个partition只能由一个group中的一个consumer取数据,当我们的解析agent数量小于partition数量时,partition会在agent上做分布,当相等时,agent与partition一一对应,当agent数量大于partition时,多出的agent不工作。
0 0
- [日志处理工作之六]kafka的分区策略 and 构建flume或logstash的采集与解析agent集群
- [日志处理工作之四]从flume采集的event中提取能被kibana识别的时间戳 and 对比flume与logstash
- [日志处理工作之三]使用flume采集DB2日志推送到kafka,并使用spark streaming拉取指定topic的日志
- logstash+kafka进行日志的实时采集
- Kafka与Logstash的数据采集
- [日志处理工作之五]整合logstash,kafka
- [日志处理工作之二]使用flume-ng解析db2日志的初步步骤
- [日志处理工作之一]整合elasticsearch,kibana,flume-ng,kafka实时采集tomcat日志
- 基于Flume+Log4j+Kafka的日志采集架构方案
- 基于Flume+Log4j+Kafka的日志采集架构方案
- Flume日志采集多级Agent
- Flume、Kafka与Storm实现日志处理
- Zookeeper+flume+kafka日志处理系统的部署
- logstash kafka output 日志处理
- [日志处理工作之七]Elasticsearch集群脑裂现象与保证可靠性的配置
- 关于linux环境下flume采集日志发布到kafka的配置
- 使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【公安大数据】
- Flume+Kafka 将不同类别日志发往不同分区的三种方式的比较
- iOS开发工具-网络封包分析工具Charles
- MyBatis根据Map中key作为字段名,value作为字段值修改数据
- MySQL事务的艺术和陷阱
- linux 下密码加密程序(可以用于替换shadow文件中的用户密码)
- OAuth 2.0系列教程(八) 授权码授权
- [日志处理工作之六]kafka的分区策略 and 构建flume或logstash的采集与解析agent集群
- C语言复合字面量的使用
- Spring Mongodb
- 字符串的排列组合
- Freemark页面字符串显示截取 超过100显示...
- CNN卷积神经网络
- OAuth 2.0系列教程(九) 契约请求和响应
- 连续字数组的最大和
- 在MYSQL中插入当前时间,就象SQLSERVER的GETDATE()一样