kafka 2.10-8.1.1安装

1. 解压安装包

2. 配置server.properties (线上配置)
目录在 config 下，修改配置信息
    修改 broker.id 为不同的值0 ，1 ，2 ...
host.name 设置IP 供连接使用
zookeeper.connect 设置 zk 地址  例如：zkhost1:port1,zkhost2:port2,zkhost3:port3/kafka
注意：/kafka 为zk上的kafka配置根目录 需要自己手动去zk上创建这个目录，没有根目录的时候自动放置在/ 下
log.dirs -- kafka存放消息文件的路径，默认/tmp/kafka-logs，可以多个目录：/tmp/kafka-log1,/tmp/kafka-log2,/tmp/kafka-log3...
log.retention.hours=168  ##log文件被保留的时长,如果超过此时长,将会被清除,无论log中的消息是否被消费过.  

##是否自动创建topic  
##如果broker中没有topic的信息,当producer/consumer操作topic时,是否自动创建.  
##如果为false,则只能通过API或者command创建topic  
auto.create.topics.enable=false

replica.fetch.max.bytes=2097152   //拉取线程拉去最大值
num.replica.fetchers=4             //复制线程个数
auto.leader.rebalance.enable=true       //leader rebalance配置
leader.imbalance.per.broker.percentage=10    //rebalance执行策略
leader.imbalance.check.interval.seconds=3600   //rebalance执行策略

  num.network.threads=3   //broker在处理client请求是,允许开启的线程个数
num.io.threads=8     //用于磁盘IO操作的线程的个数

3. 启动配置
修改配置 - bin/kafka-run-class.sh
指定jdk： 
JAVA="/software/servers/jdk1.7.0_67/bin/java"
更改JVM performance options：
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:PermSize=48m -XX:MaxPermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true"

修改配置 - kafka-server-start.sh 
设置JMX监听端口：
添加 export JMX_PORT=9999
设置启动内存信息：
添加 export KAFKA_HEAP_OPTS="-Xmx16G -Xms8G"

4. 启动

nohup bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &