Kafka的Producer和Consumer的示例(使用java语言)

我使用的kafka版本是：0.7.2

jdk版本是：1.6.0_20

http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整，以下代码是经过我补充的并且编译后能运行的。

Producer Code

[java] view plain copy

1. import java.util.*;  
2. import kafka.message.Message;  
3. import kafka.producer.ProducerConfig;  
4. import kafka.javaapi.producer.Producer;  
5. import kafka.javaapi.producer.ProducerData;  
6.   
7. public class ProducerSample {  
8.   
9.   
10.     public static void main(String[] args) {  
11.         ProducerSample ps = new ProducerSample();  
12.   
13.         Properties props = new Properties();   1、配置文件设置
14.         props.put("zk.connect", "127.0.0.1:2181");  
15.         props.put("serializer.class", "kafka.serializer.StringEncoder");  
16.   
17.         ProducerConfig config = new ProducerConfig(props);  
18. 2、带着配置文件创建Producer 
    
19.         Producer<String, String> producer = new Producer<String, String>(config); 
20. 要发布的消息（任务）     topic   消息任务 3、要发布的消息任务
21.         ProducerData<String, String> data = 
22. new ProducerData<String, String>("test-topic", "test-message2");  
23.         producer.send(data);  4、发布消息任务
24.         producer.close();  
25.     }  
26. }  

Consumer Code

[java] view plain copy

1. import java.nio.ByteBuffer;  
2. import java.util.HashMap;  
3. import java.util.List;  
4. import java.util.Map;  
5. import java.util.Properties;  
6. import java.util.concurrent.ExecutorService;  
7. import java.util.concurrent.Executors;  
8. import kafka.consumer.Consumer;  
9. import kafka.consumer.ConsumerConfig;  
10. import kafka.consumer.KafkaStream;  
11. import kafka.javaapi.consumer.ConsumerConnector;  
12. import kafka.message.Message;  
13. import kafka.message.MessageAndMetadata;  
14.   
15. public class ConsumerSample {  
16.   
17.     public static void main(String[] args) {  
18.        //1、消费者配置文件设置
19.         Properties props = new Properties();  
20.         props.put("zk.connect", "localhost:2181");  
21.         props.put("zk.connectiontimeout.ms", "1000000");  
22.         props.put("groupid", "test_group");  
23.         //groupid和要消费的topic
24.   
25.        //2、根据配置文件创建与集群的连接
26.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
27.         ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);  
28.   //3、事先说明有4个线程来消费test-topic 
29.         HashMap<String, Integer> map = new HashMap<String, Integer>();  
30.         map.put("test-topic", 4); 
31. //topicMessageStreams是信息流，根据信息流来创建管道s
32.       Map<String, List<KafkaStream<Message>>> topicMessageStreams =  
33.          consumerConnector.createMessageStreams(map);  // a map of (topic,#stream)
34.        //4、创建四个 MessageStreams来消费（监听）topic（通过MessageStrings的get方法从topic中取数据，在消费者和生产者的配置文件中两者必须位于不同的topic中，否者不能访问同一topic中的数据），每个MessageString 对应一个线程。4个MessageStreams构成一捆管道topicMessageStreams，4个MessageStreams分别通向4个线程，得到4个stream， 
35. //5、从test-topic中获取消息任务 streams是创建的一捆管道，stream是管道
36.         List<KafkaStream<Message>> streams = topicMessageStreams.get("test-topic");  
37.   
38.        //6、声明一个4个线程的线程池，用于消费各个partition 
39.         ExecutorService executor = Executors.newFixedThreadPool(4); 
40.   
41.          //7、消费消息任务
42.         for (final KafkaStream<Message> stream : streams) { 
43. //stream 是MessageAndMetadata类型，包含topic、message字段 
44.          //8、 为每一个partition分配一个线程去消费
45.      executor.submit(new Runnable() {           
46.                 public void run() {  
47.                     for (MessageAndMetadata msgAndMetadata : stream) {  
48.                         // process message (msgAndMetadata.message())  
49.                         System.out.println("topic: " + msgAndMetadata.topic());  
50.                         Message message = (Message) msgAndMetadata.message();  
51.                         ByteBuffer buffer = message.payload();  
52.                  <span style="whitespace:pre">  </span>
53. byte[] bytes = new byte[message.payloadSize()];  
54.                         buffer.get(bytes);  
55.                         String tmp = new String(bytes);  
56.                         System.out.println("message content: " + tmp);  
57.                     }  
58.                 }  
59.             });  
60.         }  
61.   
62.     }  
63. }  

分别启动zookeeper,kafka server之后，依次运行Producer,Consumer的代码

运行ProducerSample：

运行ConsumerSample:

由于本人不熟悉Java的多线程，将官方给的Consumer Code做点小改动，如下所示：

[java] view plain copy

1. import java.nio.ByteBuffer;  
2. import java.util.HashMap;  
3. import java.util.List;  
4. import java.util.Map;  
5. import java.util.Properties;  
6. import kafka.consumer.Consumer;  
7. import kafka.consumer.ConsumerConfig;  
8. import kafka.consumer.KafkaStream;  
9. import kafka.javaapi.consumer.ConsumerConnector;  
10. import kafka.message.Message;  
11. import kafka.message.MessageAndMetadata;  
12.   
13. public class ConsumerSample2 {  
14.   
15.     public static void main(String[] args) {  
16.         // specify some consumer properties  
17.         Properties props = new Properties();  
18.         props.put("zk.connect", "localhost:2181");  
19.         props.put("zk.connectiontimeout.ms", "1000000");  
20.         props.put("groupid", "test_group");  
21.   
22.         // Create the connection to the cluster  
23.         ConsumerConfig consumerConfig = new ConsumerConfig(props);  
24.         ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);  
25.   
26.         HashMap<String, Integer> map = new HashMap<String, Integer>();  
27.         map.put("test-topic", 1);  
28.         Map<String, List<KafkaStream<Message>>> topicMessageStreams =  
29.                 consumerConnector.createMessageStreams(map);  
30.         List<KafkaStream<Message>> streams = topicMessageStreams.get("test-topic");  
31.   
32.         <strong>for (final KafkaStream<Message> stream : streams) {  
33.             for (MessageAndMetadata msgAndMetadata : stream) {  
34.                 // process message (msgAndMetadata.message())  
35.                 System.out.println("topic: " + msgAndMetadata.topic());  
36.                 Message message = (Message) msgAndMetadata.message();  
37.                 ByteBuffer buffer = message.payload();  
38.                 byte[] bytes = new byte[message.payloadSize()];  
39.                 buffer.get(bytes);  
40.                 String tmp = new String(bytes);  
41.                 System.out.println("message content: " + tmp);  
42.             }  
43.         }</strong>  
44.     }  
45. }  

我在Producer端又发送了一条“test-message2”的消息，Consumer收到了两条消息，如下所示：