KAFKA生产者消费者API学习

前期准备

• 启动一个broker（可以启动多个，这次测试只启动一个）

> bin/kafka-server-start.sh config/server.properties & 

• 创建一个topic

> bin/kafka-topics.sh --create --zookeeper localhost:2181      --replication-factor 1 --partitions 1 --topic test

• 保险起见，查看一下刚刚创建的topic

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

创建项目

• 为了方便管理，使用maven创建管理我们的项目

修改maven模式中的核心配置文件pom.xml:<dependency>    <groupId>org.apache.kafka</groupId>    <artifactId>kafka-clients</artifactId>    <version>0.10.1.0</version></dependency>

生产者客户端

kafka生产者客户端API：http://orchome.com/303
通过阅读生产者API，得知其核心内容是创建生产者，并使用生产者发送消息到主题中。

// 通过Properties类设置生产者属性，然后创建生产者 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("retries", 0); props.put("batch.size", 16384); props.put("linger.ms", 1); props.put("buffer.memory", 33554432); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props);

//send()发送消息ProducerRecord<K,V> record = new ProducerRecord<>(String topic, K key, V value);public Future<RecordMetadata> send(ProducerRecord<K,V> record,Callback callback)

• 总体实现代码

import java.util.Properties;import java.util.concurrent.TimeUnit;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;/* * write message into topic test */public class kafkaProducer extends Thread {    private String topic;    // Constructor    public kafkaProducer(String topic) {        super();        this.topic = topic;    }    // 新的生产者是线程安全的，在线程之间共享单个生产者实例，通常单例比多个实例要快    // 可以在日后考虑采用单例模式进行改造，初步使用private方法    private Producer<String, String> createProducer() {        // 通过Properties类设置Producer的属性        Properties properties = new Properties();        properties.put("bootstrap.servers", "localhost:9092");        properties.put("acks", "all");        properties.put("retries", 0);        properties.put("batch.size", 16384);        properties.put("linger.ms", 1);        properties.put("buffer.memory", 33554432);        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");        return new KafkaProducer<String, String>(properties);    }    @Override    public void run() {        Producer<String, String> producer = createProducer();        for (int i = 0; i < 10; i++) {            producer.send(new ProducerRecord<String, String>(this.topic, "times", Integer.toString(i)));        }        try {            TimeUnit.SECONDS.sleep(1);        } catch (InterruptedException e) {            // TODO: handle exception            e.printStackTrace();        }    }    public static void main(String[] args) {        new kafkaProducer("test").run();    }}

---

消费者客户端

• 偏移量（offset）
  偏移量是主题分区中一条消息的唯一标识符，对于消费者而言始终指向下一个待访问消息。偏移量可以自动提交也可以消费者手动控制。

• 消费者组
  组中包含多个消费进程，通过进程池瓜分消费和处理消息的工作。
  每个消费进程通过subscribe API订阅一个主题列表，并和组内进程平衡主题分区。
  消费组中的成员动态维护，不论什么原因增加减少都会重新平衡分配。

• 简单示例

import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;public class kafkaConsumer extends Thread{    private String topic;    public kafkaConsumer(String topic) {        this.topic = topic;    }    private KafkaConsumer<String, String> createConsumer() {        Properties properties = new Properties();        //指定一个或多个broker，可自动集群中其余broker        properties.put("bootstrap.servers", "localhost:9092");        //设置消费者组        properties.put("group.id", "group-test");        //设置自动提交offset        properties.put("enable.auto.commit", "true");        //设置自动提交频率间隔        properties.put("auto.commit.interval.ms", "1000");        //deserializer用于将byte转换成Object，StringDeserializer是一个String解析器        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");        return new KafkaConsumer<String, String>(properties);    }    @Override    public void run() {        KafkaConsumer<String, String> consumer = createConsumer();        //设置订阅的主题列表        consumer.subscribe(Arrays.asList(this.topic));        while(true) {        //poll()方法持续接收消息，获得一个消息Map        //timeout参数：等待可用消息的时间ms        ConsumerRecords<String, String> records = consumer.poll(2000);        for(ConsumerRecord<String, String> record : records){        System.out.println(record.offset() + "  " + record.key() + "  " + record.value());            }                   }    }    public static void main(String[] args) {        new kafkaConsumer("test").start();    }