zookeeper整合kafka

安装zookeeper集群

1.将zookeeper-3.4.5-cdh5.3.6.tar.gz拷贝到spark1的/usr/local目录下。
2、对zookeeper-3.4.5-cdh5.3.6.tar.gz进行解压缩：

tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。

3、对zookeeper目录进行重命名：

mv zookeeper-3.4.5-cdh5.3.6 zk。

4、配置zookeeper相关的环境变量

vi ~/.bashrcexport ZOOKEEPER_HOME=/usr/local/zkexport PATH=$ZOOKEEPER_HOME/binsource ~/.bashrc

配置zoo.cfg

cd zk/confmv zoo_sample.cfg zoo.cfgvi zoo.cfg修改：dataDir=/usr/local/zk/data新增：server.0=sparkproject1:2888:3888    server.1=sparkproject2:2888:3888server.2=sparkproject3:2888:3888

设置zk的节点标识

cd zkmkdir datacd datavi myid0

将zk文件与~/.bashrc复制到另外两台机器上

scp -r zk/ root@spark2:/usr/local/scp ~/.bashrc root@spark2:~/.

注意：复制完毕之后，进入kafka的根目录下的data里面，修改对应的myid文件

启动zookeeper节点

1、分别在三台机器上执行：

   zkServer.sh start。

2、检查ZooKeeper状态：

zkServer.sh status，应该是一个leader，两个follower

3、jps：检查三个节点是否都有QuromPeerMain进程。

至此，zookeeper集群搭建完毕

安装kafka集群

1、将kafka_2.9.2-0.8.1.tgz拷贝到spark1的/usr/local目录下。
2、对kafka_2.9.2-0.8.1.tgz进行解压缩：

tar -zxvf kafka_2.9.2-0.8.1.tgz。

3、对kafka目录进行改名：

mv kafka_2.9.2-0.8.1 kafka

4、配置kafka

vi /usr/local/kafka/config/server.propertiesbroker.id：依次增长的整数，0、1、2，集群中Broker的唯一idzookeeper.connect=192.168.1.200:2181,192.168.1.201:2181,192.168.1.202:2181

5、安装slf4j
将课程提供的slf4j-1.7.6.zip上传到/usr/local目录下

unzip slf4j-1.7.6.zip

把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

启动kafka集群

1、解决kafka Unrecognized VM option ‘UseCompressedOops’问题

vi /usr/local/kafka/bin/kafka-run-class.sh if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"fi去掉-XX:+UseCompressedOops即可

注意:修改kafka的server.properties的broken.id的属性值，这个值不能重复

2、在三台机器上的kafka目录下，分别执行以下命令：

  nohup bin/kafka-server-start.sh config/server.properties &

3、使用jps检查启动是否成功

测试kafka集群

进入kafka的根目录下:

创建主题

bin/kafka-topics.sh --zookeeper 192.168.1.200:2181,192.168.1.201:2181,192.168.1.202:2181 --topic TestTopic --replication-factor 1 --partitions 1 –create

创建生产者

bin/kafka-console-producer.sh --broker-list 192.168.1.200:9092,192.168.1.201:9092,192.168.1.202:9092 --topic TestTopic

创建消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.1.200:2181,192.168.1.201:2181,192.168.1.202:2181 --topic TestTopic  --from-beginning

生产者生产消息 hello kafka,在消费者的窗口里看到 hello kafka。
Kafka搭建成功