kafka学习总结

一   安装

工具WinS C P

系统Windows10 192.168.27.2

系统linuxCentOs  192.168.27.129  192.168.27.130 192.168.27.131

虚拟机vmware

目标路径/usr/src/local

安装scala 2.11.4
1，将课程提供的scala-2.11.4.tgz使用WinSCP拷贝到
sparkproject01的/usr/src/local/目录下
2，对scala-2.11.4.tgz进行解压缩：tar -zxvf scala-2.11.4.tgz
3,对scala目录进行重命名：mv scala-2.11.4 scala
4,配置scala相关的环境变量

vim /etc/profile

export SCALA_HOME=/usr/src/local/scala
export PATH=$SCALA_HOME/bin

source /etc/profile

5，查看scala是否安装成功 : scala -version
6,按照上述步骤在sparkproject02和sparkproject03机器上都安装好
scala.使用将scala和/etc/profile拷贝到sparkproject02和sparkproject03上即可

scp -r /usr/src/local/scala/ root@sparkproject02:/usr/src/local/

1，如果scala
[root@sparkproject01 ~]# scala version
-bash: scala: command not found
删除环境变量，重新配置一下。


https://archive.apache.org/dist/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz


1,将kafka_2.9.2-0.8.1.1.tgz使用WinSCP拷贝到sparkproject01
的/usr/src/loca/目录下
2，对kafka_2.9.2-0.8.1.1.tgz进行解压缩：
tar -zxvf kafka_2.9.2-0.8.1.1.tgz
3,对kafka目录进行改名：mv kafka_2.9.2-0.8.1.1 kafka
4,配置kafka
配置kafka
vi /usr/src/local/kafka/config/server.properties

/usr/src/local/kafka/config/server.properties

broker.id:依次增长的整数，0，1，2，3，4，集群中Broker的唯一id；

#设置data目录，最好不要用默认的/tmp/kafka-logs
log.dirs=/usr/src/local/kafka/kafka-logs;

zookeeper.connect=sparkproject01:2181,sparkproject02:2181,sparkproject03:2181
5,安装slf4j
 unzip slf4j-1.7.6.zip
把slf4j-nop-1.7.6.jar复制到kafka的libs目录下面
可以利用eclipse+maven下载jar包
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-nop</artifactId>
    <version>1.7.6</version>
</dependency>

启动关闭
#启动
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr//src/local/kafka/config/server.properties
 
#添加开机启动
echo ‘
# start kafka
/usr/src/local/kafka/bin/kafka-server-start.sh -daemon /usr/src/local/kafka/config/server.properties
‘ >> /etc/rc.local
 
#关闭
/usr/local/kafka/bin/kafka-server-stop.sh
 //创建主题

kafka-topics.sh --create --zookeeper 192.168.27.129:2181,192.168.27.130:2181,192.168.27.131:2181 --replication-factor 2 --partitions 1 --topic Demo01

kafka-topics.sh  --describe --zookeeper 192.168.27.129:2181

//创建producer

kafka-console-producer.sh -broker-list 192.168.27.129:9092  --topic Demo01

//创建consumer

kafka-console-consumer.sh --zookeeper 192.168.27.130:2181 --topic Demo01 --from-beginning

kafka-console-consumer.sh --zookeeper 192.168.27.131:2181 --topic Demo01 --from-beginning

zkCli.sh -server 192.168.27.129:2181

ls /

ls2 /

get /

create /demo

delete /demo

create -s  /

create -e /

quit

zkServer.sh start

zkServer.sh status

zkServer.sh.stop