flume高并发优化——(15)中间件版本升级
来源:互联网 发布:c语言包括哪些 编辑:程序博客网 时间:2024/05/21 12:47
在系统平稳运行一年的基础上,为提供更好的服务,现针对java,kafka,flume,zk,统一进行版本升级,请各位小伙伴跟着走起来,不要掉队啊!
jdk,zookeeper,flume:
这两个中间件平滑升级,没有特殊的地方,参考其他博客就好
kafka:
这个的变化还是很大的,咱们详细说来
1,zk的作用
offsets,这个值,标记kafka消费到哪了,以前由zk维护,但是,遇到并发比较大的情况,zk的数据出现错误的几率变大,目前版本交由kafka本身维护,kafka本身创建了一个topic解决这个问题,topic:__consumer_offsets,在最新的版本,zk的作用仅仅在维护集群主从关系上了,作用降低。
2,消费端变化
消费端的配置,发生了变化,和flume 1.6有些区别,但是1.7的版本还是对这些做了适配,基本配置不用变化。
3,监控的变化
以前的监控是基于zk的,目前已经不满足与最新的kafka,监控中间件升级为kafkamanager,将最新版本的zip包下载到服务器,解压,并配置就可使用,配置如下:
# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0# See accompanying LICENSE file.# This is the main configuration file for the application.# ~~~~~# Secret key# ~~~~~# The secret key is used to secure cryptographics functions.# If you deploy your application to several instances be sure to use the same key!play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"play.crypto.secret=${?APPLICATION_SECRET}# The application languages# ~~~~~play.i18n.langs=["en"]play.http.requestHandler = "play.http.DefaultHttpRequestHandler"play.http.context = "/"play.application.loader=loader.KafkaManagerLoaderkafka-manager.zkhosts="10.1.115.181:2181,10.1.114.221:2181,10.1.114.231:2181/kafka"# kafka-manager.zkhosts=${?ZK_HOSTS}pinned-dispatcher.type="PinnedDispatcher"pinned-dispatcher.executor="thread-pool-executor"application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]akka { loggers = ["akka.event.slf4j.Slf4jLogger"] loglevel = "INFO"}basicAuthentication.enabled=truebasicAuthentication.username="admin"basicAuthentication.password="admin"basicAuthentication.realm="Kafka-Manager"basicAuthentication.excluded=["/api/health"] # ping the health of your instance without authentification
如果出现jdk的问题,可以通过指定路径的方式解决:
#!/usr/bin/env bash### ------------------------------- ###### Helper methods for BASH scripts ###### ------------------------------- ###JAVA_HOME="/Data/servers/jdk8"die() { echo "$@" 1>&2 exit 1}
监控界面如下:
总结:
在本次升级中,主要是为了增加flume与kafka的并发,因为数据的问题,对es并未进行升级,但是在以后中,我们还是会对es进行升级,做数据平移,或者做双数据源,因为日志最多存过30天,这样的方案,还是非常容易的,请大家继续关注后续的博客。
阅读全文
1 0
- flume高并发优化——(15)中间件版本升级
- flume高并发优化——(7)RandomAccessFile升级多文件source
- flume高并发优化——(1)load_balance
- flume高并发优化——(2)精简结构
- flume高并发优化——(3)haproxy
- flume高并发优化——(4)kafka channel
- flume高并发优化——(5)KafkaOffsetMonitor
- ]flume高并发优化——(1)load_balance
- flume高并发优化——(6)开发多文件检索source插件
- flume高并发优化——(8)多文件source扩展断点续传
- flume高并发优化——(9)配置文件交由zookeeper管理
- flume高并发优化——(10)消灭elasticsearch sink多次插入
- flume高并发优化——(11)排除json转换及中文乱码
- flume高并发优化——(12)filesource 支撑文件组&兼容cat监控
- flume高并发优化——(13)扩展三级文件配置&利用Headers扩展属性
- flume高并发优化——(16)解决offsets变小问题
- flume高并发优化——(14)解决空行停止收集数据问题,及offsets变小问题
- Netty开发中间件:高并发性能优化
- hadoop完全分布式搭建的总结
- 时间戳获取js
- 获取视频真实地址
- WebGL之Three.js开发第一个场景(含源码)
- 20170721——NRF51822跑马灯程序
- flume高并发优化——(15)中间件版本升级
- Spring bean的生命周期
- HDU5867 Water problem
- 材料设计NavigationView简析
- Ubuntu下用luvcview查看摄像设备详细信息
- sqlserver的触发器练习
- 剑指offer题67
- Android开发之控制Toast的开启与关闭
- krpano浏览量+点赞插件(不用数据库,也不用第三方,自己的地盘自己做主)