apache kafka技术分享系列(目录索引)

来源：互联网发布：linux组和用户编辑：程序博客网时间：2024/05/21 23:00

apache Kafka中国社区

目前QQ群3已满，请加群1，2，4

中国社区QQ群1：162272557 未满

中国社区QQ群2：414762562 未满

中国社区QQ群3：191278841 已满

中国社区QQ群4：415846802 未满

代美团酒旅技术招聘

每当有新blog发布时，会在此处更新，欢迎大家拍砖共同成长

目录索引：

Kafka使用场景

1.为何使用消息系统

2.我们为何需要搭建Apache Kafka分布式系统

3.消息队列中点对点与发布订阅区别

Kafka设计与原理分析

1）apache Kafka概要介绍
2）Kafka副本同步机制理解

3) Kafka文件存储机制那些事（我在美团官博发表文章）

4）Kafka数据可靠性与一致性解析

5）Kafka集群partitions/replicas默认分配解析

6）Apache Kafka消息传递可靠性分析

7）Apache Kafka中Follower如何与Leader同步数据

8) Apache Kafka Broker HA机制

9）《Kafka & Mafka技术分享及讨论》

10）Kafka内部网络框架模型分析

11）Kafka延时分析

12) MQ关注和共性分享

13）Kafka delivery保证

14）apache Kafka Replication设计分析

Kafka优化分析：

1）kafka运行环境优化分析

2) kafka server部署配置优化

相关设计方案

1）基于Kafka如何搭建一个稳定可靠的zk集群服务

2) Kafka Producer机制优化-提高发送消息可靠性

3)Kafka Consumer机制优化-保证每条消息至少消费一次

4）Mafka消息中间件系统SLA

5）基于Kafka时间粒度消息回溯设计方案

Kafka开发与管理：

1）kafak安装与使用

2）apache kafka中server.properties配置文件参数说明

3）Apache kafka客户端开发-java

4）kafka的ZkUtils类的java版本部分代码

5）kafka log4j配置

6）apache kafka的consumer初始化时获取不到消息

7）apache kafka源码构建打包

8）apache kafka迁移与扩容工具用法

Kafka运维手册

1)如何在Kafka上创建一个Topic

2)如何在Kafka上对一个Topic增加partition

3）如何在Kafka上对一个Topic增加replicas

4）如何在Kafka中修改Topic的preferred replica

5）如何在Kafka中对Topic的leader进行均衡

6）apache kafka中topic级别配置

7）apache Kafka下线broker的操作

kafka异常分析：

1）kafka LeaderNotAvailableException

2）kafka.common.ConsumerRebalanceFailedException异常解决办法

3) apache Kafka中partition的leader为-1情况分析

4) kafka-0.8.2.1-src编译报错解决办法

Kafka线上CaseStudy

1）Consumer rebalance失败问题定位和解决思路

2）线上Mafka集群网卡打爆原因分析及解决方案

kafka管理与运维监控相关：

1）apache kafka监控系列-监控指标

2）apache kafka jmx监控指标参数

3）apache kafka监控系列-kafka-web-console

4）apache kafka监控系列-KafkaOffsetMonitor

5）雅虎开源管理工具Kafka Manager

6）Zookeeper管理或操作Apache Kafka

kafka性能测试：

1）apache kafka性能测试命令使用和构建kafka-perf

2）Kafka性能测试报告(虚拟机版)

kafka源码分析：

1）kafka在zookeeper中存储结构

2）kafka replication设计机制

3）Kafka Producer处理逻辑

4）apache kafka源代码工程环境搭建(IDEA)

5）Kafka Controller设计机制

6） kafka broker内部架构

7）apache kafka源码分析走读-kafka整体结构分析

8）apache kafka源码分析走读-Producer分析

9）apache kafka性能优化架构分析

10）apache kafka源码分析走读-server端网络架构分析

11）apache kafka源码分析走读-ZookeeperConsumerConnector分析

12）kafka & mafka client开发与实践

13）kafka的ZookeeperConsumer实现

14）Kafka通过timestamp获取offset的机制详解

15) apache Kafka是如何实现删除数据文件(日志)的

16）kafka broker shutdown过程分析

17) apache kafka系列之源码分析走读-kafkaApi详解

18)apache kafka系列之源码分析走读-SocketServer分析

Makfa平台

1）mafka平台架构

2) Mafka Roadmap和实现

业界MQ分析

<iframe id="cpro_u2392861_iframe" src="http://pos.baidu.com/icfm?sz=300x250&amp;rdid=2392861&amp;dc=2&amp;di=u2392861&amp;dri=0&amp;dis=0&amp;dai=1&amp;ps=737x1428&amp;coa=at%3D3%26rsi0%3D300%26rsi1%3D250%26pat%3D17%26tn%3DbaiduCustNativeAD_xuanfu%26rss1%3D%2523FFFFFF%26conBW%3D1%26adp%3D1%26ptt%3D0%26titFF%3D%2525E5%2525BE%2525AE%2525E8%2525BD%2525AF%2525E9%25259B%252585%2525E9%2525BB%252591%26titFS%3D14%26rss2%3D%2523000000%26titSU%3D0&amp;dcb=BAIDU_SSP_define&amp;dtm=BAIDU_DUP_SETJSONADSLOT&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1466357379346&amp;ti=%E8%85%BE%E8%AE%AF%20VS%20%E9%98%BF%E9%87%8C%20VS%20%E6%90%BA%E7%A8%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E8%AE%BE%E8%AE%A1%E6%96%B9%E6%A1%88%E5%8F%8A%E6%80%9D%E8%B7%AF%20-%20%E6%9D%8E%E5%BF%97%E6%B6%9B%E7%9A%84%E4%B8%93%E6%A0%8F%20-%20%E5%8D%9A%E5%AE%A2%E9%A2%91%E9%81%93%20-%20CSDN.NET&amp;ari=1&amp;dbv=2&amp;drs=3&amp;pcs=1439x748&amp;pss=1439x7130&amp;cfv=0&amp;cpl=5&amp;chi=9&amp;cce=true&amp;cec=UTF-8&amp;tlm=1466357379&amp;ltu=http%3A%2F%2Fblog.csdn.net%2Flizhitao%2Farticle%2Fdetails%2F51718156&amp;ltr=http%3A%2F%2Fwrite.blog.csdn.net%2Fmdeditor&amp;ecd=1&amp;psr=1440x900&amp;par=1440x819&amp;pis=-1x-1&amp;ccd=24&amp;cja=false&amp;cmi=7&amp;col=zh-CN&amp;cdo=-1&amp;tcn=1466357379&amp;qn=cf708deb2ceff53d&amp;tt=1466357379327.23.175.179" width="300" height="250" align="center,center" vspace="0" hspace="0" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="border-width: 0px; border-style: initial; vertical-align: bottom; margin: 0px;"></iframe>
关闭

1.腾讯 VS 阿里 VS 携程消息中间件设计方案及思路

学习成长

1）工程师的六大意识

Kafka中国社区QQ群友博客引用

1）Kafka0.8.2.1删除topic逻辑

2）探讨kafka的分区数与多线程消费

3）

flume写入kafka，使用自带的org.apache.flume.sink.kafka.KafkaSink启动sink报错

Kafka集群平滑重启

5) Kafka副本管理—— 为何去掉replica.lag.max.messages参数

6) Kafka原理以及设计实现思想

7) Linkedin Kafka Monitor安装使用

8）Kafka如何创建topic？

9) Kafka源码分析 KafkaApis(LogAppend)

10) Kafka源码分析 ISR和Replica

11) Kafka源码深度解析

12) 分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正”

13）分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正“之2

Liunx系统诊断

linux后端诊断与调试技术

请注明转载自:http://blog.csdn.net/lizhitao/article/details/39499283

关于文档和blog问题，由于零散原因，不便于大家学习和使用，过段时间，我考虑放到git上。先把目录结构写上，咋们一起去完善并补充上。希望各位Kafka技术爱好者共同参与进来。有什么意见可以在下面写一些评论和改进方法，以帮助笔者提高并最终反馈给大家，谢谢。

21 0