单机环境搭建kafka

---

先说说背景吧，前两天面试到了一家公司，本打算做JavaEE开发，见我简历之前做过神经网络，就问我有没有兴趣做大数据方向。我觉得还可以，毕竟对于我来说是个新领域，于是就答应了，让我自己先学习，给了我个方向，首先就是搭建环境呗，Spark+Kafka+Tomcat+Flume，做Tomcat日志分析。小白，花了几天时间才把spark搞定，今天总算是开始走下一步了，spark搭建另外写，今天先把Kafka写了

---

Kafka搭建

系统环境：Centos7.1 64位

作为一只地地道道的小白，对于二进制包是没什么概念的，从官网下载Kafka时，果断选择了下载source版本的，也就是类似于kafka-0.11.0.1-src.tgz这样的包，搭建了一天，自带的zookeeper启动不起来，于是下载zookeeper，配置，启动，把zookeeper启动起来了，再来启动Kafka，还是启动不起来。人都不好了，偶然间发现，为啥所有的攻略上的全都是2.*的版本，我得是0.*的版本，于是查看官网，发现我下载的是source版本，2.*的都是Binary版本，于是重新下载了，然后安装就很顺利了，心中一万只草尼玛奔腾而过

下载

从官网下载就好，根据自己需要下载版本，本人下载的最新版本 kafka_2.12-0.11.0.1.tgz

上传至服务器

因为公司给的是远程服务器，只能先在自己电脑上下载了上传至服务器，上传方式很多，本人用的是Win10，链接服务器用的ssh，软件用的putty，直接网上下载就好了
Win上传到Linux方式除了ftp，也可以用putty的套件，pscp，在你下载的putty的包里面一块儿都有，这种方式本人比较喜欢，因为一般公司给你的一台服务器都是全新的，还得自己配ftp，实在麻烦，干脆就用这种方式，方便快捷，首先进入到putty目录下，然后直接执行上述命令就好了，会要求你输入用户密码，然后就上传了
pscp命令格式：

pscp localfilepath user@:/sevicefilepath//localfilepath本地文件地址//user服务器登录名//serviceip服务器IP//sevicefilepath服务器存放地址

解压

我上传到了/home/download，解压之后放到了/usr/local/kafka目录下

cd /home/downloadtar -zxvf kafka_2.12-0.11.0.1.tgzmv kafka_2.12-0.11.0.1.tgz/ /usr/local/kafka

启动

启动zookeeper
进入/usr/local/kafka目录下，然后执行：

nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/dev/null 2>&1 &//nohup XXXX >/dev/null 2>&1 &是为了在后台启动，否则终端关闭程序就结束了//这是启动Kafka自带的zookeeper，因为Kafka必须用到zookeeper，否则无法正常启动

启动Kafka

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

输入jps，查看进程，如果有kakfa和QuorumPeerMain就表示启动成功了

测试

要是能查看到就说明启动成功了，不放心就进行一下测试。进入到Kafka目录下，输入以下命令

cd /usr/local/kafkabin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test//创建主题：名称为“test”、复制数目为1、partitions为1的topic主题，出现下图所示表示创建成功

接着输入以下命令，启动生产者，会出现一个>的符号，表示进入了，然后随便输入字符串

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

打开另一个终端，输入以下命令，启动消费者，会出现刚刚你输入的字符串，那么你的单机Kafka就算配置完成了

cd /usr/local/kafkabin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

注：查看已有主题

cd /usr/local/kafkabin/kafka-topics.sh --list --zookeeper localhost:2181