电商用户行为分析大数据平台相关系列5-KAFKA安装

1、Scala安装

1.1、下载、解压

1.2、配置环境变量（/etc/profile或者~/.bashrc），环境变量生效

1.3、验证是否安装成功

scala -version

1.4、其他服务器安装

• 通过scp拷贝scala减压目录
• 通过scp拷贝~/.bashrc文件
• 登录服务器，生效环境变脸配置

2、Kafka安装

### 2.1、下载、解压

2.2、配置Kafka

vim $KAFKA_HOME/config/server.properties##修改如下信息broker.id=0zookeeper.connect=192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181

其中broker.id中值最好与上一篇Zookeeper安装中myid一致。

zookeeper.connect用于配置zookeeper服务地址，因为kafka底层是依赖zookeeper的。

2.3、上传slf4j-nop-1.76.jar

• 下载slf4j-1.7.6.zip并减压
• 找到slf4j-nop-1.7.6.jar复制到$KAFKA_HOME/libs下
  该步骤不明白是什么意思，可能是为了kafka日志输出吧

2.4、使用SCP将kafka拷贝到其他两台机器

2.5、修改其他机器的server.properties中broker.id,分别设置为1和2.

2.6、启动服务

分别在三台服务器执行

nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &

2.7、检验是否成功

分别在三台服务器上执行jps命令，查看是否有kafka进程

2.8、测试kafka

开启两个命令窗口，分别执行

## 在第一个窗口创建消息队列$KAFKA_HOME/bin/kafka-topics.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create## 在相同窗口创建生产者客户端$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 192.168.31.137:9092,192.168.31.138:9092,192.168.31.139:9092 --topic TestTopic## 在第二个窗口创建生产者消费者客户端$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic Tespic --from-beginning

此时在生产者客户端输入信息，点击回车，消费者客户端同时产生响应。
（由于有道云笔记的markdown无法直接粘贴截图，不能截图展示效果）

3、可能遇到异常处理

1. ERROR Producer connection to 192.168.31.138:9092 unsuccessful (kafka.producer.SyncProducer

该问题最终查到原因是另外两台服务器中的broker.id没有做响应修改导致。
- kafka Unrecognized VM option ‘UseCompressedOops’问题

这个问题是视频中部署遇到问题，由jdk版本不兼容导致，具体修改方法：

vim $KAFKA_HOME/bin/kafka-run-class.sh ## 1、找到对应位置if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"fi## 2、去掉-XX:+UseCompressedOops即可

注释：本文中所有$KAFKA_HOME表示本人自己在各个服务器的KAFKA安装路径

该系列笔记：
1. 电商用户行为分析大数据平台相关系列1-环境介绍
2. 电商用户行为分析大数据平台相关系列2-HADOOP环境搭建
3. 电商用户行为分析大数据平台相关系列3-HIVE安装
4. 电商用户行为分析大数据平台相关系列4-ZOOKEEPER安装
5. 电商用户行为分析大数据平台相关系列5-KAFKA安装
6. 电商用户行为分析大数据平台相关系列6-flume安装
7. 电商用户行为分析大数据平台相关系列7-spark安装