6.环境搭建-kafka集群搭建

目录

本文为《Spark大型电商项目实战》 系列文章之一，主要介绍在之前集群环境的基础上安装kafka的详细过程。

实验环境

scala 版本：scala-2.11.4
kafka 版本：kafka-2.9.2-0.8.1

*本实验项目所需软件均可在百度网盘链接：http://pan.baidu.com/s/1dFeNR6h 密码：1zx4 中获取。

安装scala

上传scala文件到/usr/local目录下

解压

tar -zxvf scala-2.11.4.tgz

删除源文件

rm –rf scala-2.11.4.tgz

重命名

mv scala-2.11.4 scala

配置环境变量

vi ~/.bashrc

export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin

配置生效

source ~/.bashrc

查看scala是否安装成功

scala -version

部署kafka集群

使用scp将scala和.bashrc文件拷贝到另外两台机器上

scp -r scala root@sparkproject2:/usr/localscp -r scala root@sparkproject3:/usr/localscp ~/.bashrc root@sparkproject2:~/scp ~/.bashrc root@sparkproject3:~/

在sparkproject2和sparkproject3中分别执行

scala -version

安装kafka

上传 kafka 文件到/usr/local目录下

解压

tar -zxvf kafka_2.9.2-0.8.1.tgz

删除源文件

rm -rf kafka_2.9.2-0.8.1.tgz

配置文件

cd kafka/configvi server.properties

broker.id为0，sparkproject2中为1，sparkproject3中为2

zookeeper.connect=192.168.1.102:2181,192.168.1.103:2181,192.168.1.104:2181

这里根据三台机器实际ip地址设置

上传slf4j文件
将slf4j-nop-1.7.6.jar上传到kafka的libs目录下面.

搭建kafka集群

用scp把kafka拷贝到sparkproject2和sparkproject3

cd /usr/localscp -r kafka root@sparkproject2:/usr/localscp -r kafka root@sparkproject3:/usr/local

在sparkproject2和sparkproject3中修改server.properties文件
将broker.id分别设置为1和2

vi /usr/local/kafka/config/server.properties

启动kafka集群

首先解决kafka Unrecognized VM option ‘UseCompressedOops’问题

vi /usr/local/kafka/bin/kafka-run-class.sh 

if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"fi

去掉-XX:+UseCompressedOops即可

在三台机器上的kafka目录下，分别执行以下命令

nohup bin/kafka-server-start.sh config/server.properties &

出现以下提示后回车即可

查看状态

cat nohup.out

在三个节点上分别显示如上信息说明kafka已经启动成功。

本文为《Spark大型电商项目实战》系列文章之一。
更多文章：Spark大型电商项目实战：http://blog.csdn.net/u012318074/article/category/6744423