大数据Kafka

1、Kafka下载：
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
解压 tar zxvf kafka_2.9.2-0.8.1.tgz

由于kafka使用scala编写，需要下载scala相关的库

2、下载安装sbt：
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
如果报404错误，可以采取离线下载，再RZ到Linux中

安装方式有两种
yum install -y sbt-0.13.1.rpm 或 rpm -ivh sbt-0.13.1.rpm

3、 更新scala环境：
sbt update
sbt package
sbt assembly-package-dependency(这一步根据版本可以不执行)

4、配置config/server.properties

broker.id为依次增长的：0、1、2、3、4，集群中唯一id
log.dirs设置到大硬盘路径下
num.network.threads
num.partitions ，默认分区数
num.io.threads 建议值为机器的核数；
zookeeper.connect 设置为zookeeper Servers 列表，各节点以逗号分开

5、配置producer.properties和consumer.properties
producer.properties的配置：
metadata.broker.list=master:9092,slave1:9092…….
consumer.properties的配置：
zookeeper.connect=master:2181,slave1:2181…….

6、启动和测试Kafka
首先启动zookeeper集群；
Kafka 启动
在kafka的部署目录下，在各个节点上通过如下命令来启动：
$ nohup bin/kafka-server-start.sh config/server.properties &

[root@master ~]# jps
3098 ZooKeeperMain
3037 Kafka

创建topic：
bin/kafka-topics.sh –zookeeper master:2181,slave1:2181
–topic track_log –replication-factor 2 –partitions 2 –create

其中： –topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

进入ZK中查看创建的topic

查看全部Topic：
bin/kafka-topics.sh –zookeeper 192.168.1.107:2181,192.168.1.107:2181 –list
删除Topic：
./kafka-topics.sh –topic topicName –delete
–zookeeper 192.168.1.107:2181,192.168.1.107:2181
查看Topic明细：
./kafka-topics.sh –topic test –describe
–zookeeper 192.168.1.107:2181,192.168.1.107:2181

生产和消费
Productor：
bin/kafka-console-producer.sh –broker-list
192.168.1.107:9092,192.168.1.108:9092 –topic topicName

Consumer:
bin/kafka-console-consumer.sh
–zookeeper 192.168.1.107:2181,192.168.1.107:2181
–topic topicName –from-beginning

异常处理
报异常：
Failed to load class “org.slf4j.impl.StaticLoggerBinder”
解决方法：
下载slf4j-1.7.6.zip
wget http://www.slf4j.org/dist/slf4j-1.7.6.zip
解压
unzip slf4j-1.7.6.zip
把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面
配置文件config/server.properties 中配置项：