从无到有系列之kafka生产消费者demo02
来源:互联网 发布:淘宝男士外贸原单店铺 编辑:程序博客网 时间:2024/05/22 13:28
(使用maven构建项目)
POM.xml:
加入:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.10</artifactId>
<version>0.8.2.0</version>
</dependency>
生产者:
package MavenDemo.Mdemo;import java.util.Properties; import java.util.concurrent.TimeUnit; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; public class kafkaProducer extends Thread{ private String topic; public kafkaProducer(String topic){ super(); this.topic = topic; } @Override public void run() { Producer producer = createProducer(); int i=0; while(true){ producer.send(new KeyedMessage<Integer, String>(topic, "message: " + i++)); try { TimeUnit.SECONDS.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } } } private Producer createProducer() { Properties properties = new Properties(); properties.put("zookeeper.connect", "192.168.10.66:2181");//声明zk properties.put("serializer.class", StringEncoder.class.getName()); properties.put("metadata.broker.list", "192.168.10.66:9092");// 声明kafka broker return new Producer<Integer, String>(new ProducerConfig(properties)); } public static void main(String[] args) { new kafkaProducer("test").start();// 使用kafka集群中创建好的主题 test } }
生产者:
package MavenDemo.Mdemo;import java.util.Properties; import java.util.concurrent.TimeUnit; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; public class kafkaProducer extends Thread{ private String topic; public kafkaProducer(String topic){ super(); this.topic = topic; } @Override public void run() { Producer producer = createProducer(); int i=0; while(true){ producer.send(new KeyedMessage<Integer, String>(topic, "message: " + i++)); try { TimeUnit.SECONDS.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } } } private Producer createProducer() { Properties properties = new Properties(); properties.put("zookeeper.connect", "192.168.10.66:2181");//声明zk properties.put("serializer.class", StringEncoder.class.getName()); properties.put("metadata.broker.list", "192.168.10.66:9092");// 声明kafka broker return new Producer<Integer, String>(new ProducerConfig(properties)); } public static void main(String[] args) { new kafkaProducer("test").start();// 使用kafka集群中创建好的主题 test } }
消费者
package MavenDemo.Mdemo;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;/** * 接收数据 * 接收到: message: 10接收到: message: 11接收到: message: 12接收到: message: 13接收到: message: 14 * @author zm * */public class kafkaConsumer extends Thread{private String topic;public kafkaConsumer(String topic){super();this.topic = topic;}@Overridepublic void run() {ConsumerConnector consumer = createConsumer();Map<String, Integer> topicCountMap = new HashMap<String, Integer>();topicCountMap.put(topic, 1); // 一次从主题中获取一个数据 Map<String, List<KafkaStream<byte[], byte[]>>> messageStreams = consumer.createMessageStreams(topicCountMap); KafkaStream<byte[], byte[]> stream = messageStreams.get(topic).get(0);// 获取每次接收到的这个数据 ConsumerIterator<byte[], byte[]> iterator = stream.iterator(); while(iterator.hasNext()){ String message = new String(iterator.next().message()); System.out.println("接收到: " + message); }}private ConsumerConnector createConsumer() {Properties properties = new Properties();properties.put("zookeeper.connect", "192.168.10.66:2181");//声明zkproperties.put("group.id", "group1");// 必须要使用别的组名称, 如果生产者和消费者都在同一组,则不能访问同一组内的topic数据return Consumer.createJavaConsumerConnector(new ConsumerConfig(properties)); }public static void main(String[] args) {new kafkaConsumer("test").start();// 使用kafka集群中创建好的主题 test } }
先启动生产者代码,再启动消费者代码
0 0
- 从无到有系列之kafka生产消费者demo02
- 从无到有系列之flume-kafka整合01
- Java多线程系列--“基础篇”11之 生产消费者问题
- Java多线程系列--“基础篇”11之 生产消费者问题
- Java多线程系列--“基础篇”11之 生产消费者问题
- Java多线程系列--“基础篇”11之 生产消费者问题
- 从无到有系列之Hive-安装部署01
- 从无到有系列之zookeeper-安装部署01
- 从无到有系列之HBase-入门操作02
- 从无到有系列之HBase-安装部署01
- 从无到有系列之storm-安装部署01
- 从无到有系列之spark-安装部署01
- 从无到有系列之zeepelin-安装部署01
- 从无到有系列之zeepelin-小试牛刀02
- 从无到有系列之flume-安装部署01
- Kafka下的生产消费者模式与订阅发布模式
- Kafka下的生产消费者模式与订阅发布模式
- Java多线程系列--“基础篇”11之 生产消费者问题 (r)
- docker命令详解
- 【UVALive】7502 Suffixes and Palindromes【根据sa数组以及回文半径数组构造字典序最小的串】
- 超大文件_堆空间_去重_排序
- bug宝典之bootstrap [object HTMLSelectElement]
- 【Android N_启示录】
- 从无到有系列之kafka生产消费者demo02
- Maven入门(含实例教程)
- 欢迎使用CSDN-markdown编辑器
- 接口与抽象类的区别与使用
- 文本文件排序
- docker镜像详解 docker命令详解
- Android 学习之如何集成友盟推送
- 本地代码连远程测试服务器的跨域问题
- hadoop安装