日志分析记要
来源:互联网 发布:黑魂3奎爷捏脸数据 编辑:程序博客网 时间:2024/06/09 16:17
1. Zookeeper配置
1.1 在conf目录下增加zoo.cfg
tickTime=2000initLimit=10syncLimit=5dataDir=/data/tracing/zookeeper/datadataLogDir=/data/tracing/zookeeper/logclientPort=2181server.1=127.0.0.1:2888:3888server.2=127.0.0.2:2888:3888server.3=127.0.0.3:2888:3888
1.2 配置zk的ID
同时在$dataDir下建立myid,内容为171
1.3 启动zk
在bin目录下,运行./zkServer.sh start 启动后台运行,相关目录输出到zookeeper.out文件中
1.4 最终ZK环境
127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181
2. kafka配置
2.1 kafka服务相关配置
Kafka使用zk作为集群协调工具
修改config/server.properties
broker.id=1host.name=127.0.0.1# 默认分区数量,也可以在建立topics时进行指定num.partitions=2auto.create.topics.enable=truezookeeper.connect=127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181zookeeper.connection.timeout.ms=600000
2.2 启动kafka
后台方式运行kafka
# 开启jmxexport JMX_PORT="12300"# 启动时需要指定server.properties的路径./kafka-server-start.sh -daemon ../config/server.properties
2.3 建立topic
# 建立名为beats的topic,四个分区,每个节点2个# 副本数量,至少为1,即只有一份数量,这里的副本概念与es不同./kafka-topics.sh --create --zookeeper 127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181 --replication-factor 1 --partitions 4 --topic beats./kafka-topics.sh --list --zookeeper 127.0.0.1:2181./kafka-topics.sh --delete --zookeeper 127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181 --replication-factor 1 --partitions 4 --topic beats
其中 replication-factor 为N,那么允许N-1个副本失效
2.4 Kafka监控组件安装
尝试了各种监控组件,暂时发现kafka-manager最好用,yahoo出品,能通过界面进行日常管理
使用 kafkamanager 来监控kafka
# 直接启动nohup ./kafka-manager &
http://127.0.0.1:9000 进行访问,在相关页面增加kafka配置
2.5 kafka消息消费说明
- 同group有多个消息者是,会根据个数,动态分配其消费的partition, 如果消费者数量大于分区数量,会有个别消息者没有消息处理
- 保证一个partition只会有一个消息者进行处理
- 在0.10.x版本中,消息者offset信息放在__consumer_offsets队列中
阅读全文
0 0
- 日志分析记要
- 记要
- NPAPI插件开发详细记要:插件运行流程分析
- NPAPI插件开发详细记要:插件运行流程分析
- CSS记要
- 开通记要
- CSS记要
- 面试记要
- struts2记要
- 日志分析
- 日志分析
- 日志分析
- 日志分析
- 日志分析
- 日志分析
- 日志分析
- mysql日志与日志分析
- Linux路由器配置记要
- 为微信小程序搭建https服务,证书申请及配置。Apache服务器。重点描述request:fail ssl hand shake error 错误
- 整合微信支付
- centos7 redis、php扩展编译与安装
- log 的5个日志级别 + 例
- 数据类型--数据类型转化
- 日志分析记要
- Django使用pymysql作为mysql操作backend
- 数据结构--合并顺序表
- 利用jackson解析json文件
- ubuntu16.04 caffe 数据集MNIST 训练LeNet
- ssm+maven项目配置mapper 自动生成
- R_install_packages_car
- 安装cocoapods遇到的坑->RPC failed; curl 56 SSLRead() return error -36| 17.00 KiB/s
- 利用poi导出excel之——合并单元格