6、应用开发
来源:互联网 发布:算法概论注释版pdf 编辑:程序博客网 时间:2024/06/05 08:55
1、开发一个生产者应用,如下:
package com.cattsoft;import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;public class KafkaProducer { static String message = "kafka message producer!"; public static void main(String[] args) { System.out.println("生产消息开始!!!"); Properties props = new Properties(); /* 发送实际数据的socket连接将基于返回的metadata数据信息而建立 */ props.setProperty("metadata.broker.list", "172.168.10.48:9092,172.168.10.49:9092,172.168.10.54:9092"); /* 消息的序列化类别。默认编码器输入一个字节byte[],然后返回相同的字节byte[] */ props.setProperty("serializer.class", "kafka.serializer.StringEncoder"); /* * 此选项置顶了消息是否在后台线程中异步发送。正确的值: (1) async: 异步发送 (2) sync: 同步发送 * 通过将producer设置为异步,我们可以批量处理请求(有利于提高吞吐率)但是这也就造成了客户端机器丢掉未发送数据的可能性 */ props.setProperty("producer.type", "asyc"); /* * 仅仅for sync 0: * 表示producer从来不等待来自broker的确认信息(和0.7一样的行为)。这个选择提供了最小的时延但同时风险最大( * 因为当server宕机时,数据将会丢失)。 1:表示获得leader * replica已经接收了数据的确认信息。这个选择时延较小同时确保了server确认接收成功。 * -1:producer会获得所有同步replicas都收到数据的确认,同时时延最大。 */ props.put("request.required.acks", "1"); /* 确认超时时间 */ props.put("request.timeout.ms", 1000); /* broker尽力实现request.required.acks需求时的等待时间,否则会发送错误到客户端 */ props.put("request.timeout.ms", 10000); /* 此项参数可以设置压缩数据的codec,可选codec为:“none”, “gzip”, “snappy” */ props.put("compression.codec", "none"); /* 在设置了压缩的情况下,可以指定特定的topic压缩,为指定则全部压缩 */ props.put("compressed.topics", null); /* 消息发送最大尝试次数 */ props.put("message.send.max.retries", 3); /* 批量消息的数量,仅仅for asyc */ props.put("batch.num.messages", 100); /* * 当应用async模式时,用户缓存数据的最大时间间隔。例如,设置为100时,将会批量处理100ms之内消息。这将改善吞吐率, * 但是会增加由于缓存产生的延迟。 */ props.put("queue.buffering.max.ms", 5000); /* producer 缓存的消息的最大数量,仅仅for asyc */ props.put("queue.buffering.max.message", 1000); /* 必须实现kafka.producer.Partitioner,根据Key提供一个分区策略 */ props.put("partitioner.class", "kafka.producer.DefaultPartitioner"); ProducerConfig config = new ProducerConfig(props); Producer<String, String> producer = new Producer<String, String>(config); String topic = "ADAPTER_QUEUE_SOLR_S1000"; try { int i = 0; int count = 100; while (i < count) { KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, message); producer.send(data); i++; } System.out.println("生成消息完成!"); } catch (Exception e) { e.printStackTrace(); } producer.close(); }}
2、开发一个消费者应用
package com.cattsoft;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;public class KafkaConsumer extends Thread { private final ConsumerConnector consumer; private final String topic; public KafkaConsumer(String topic) { consumer =(ConsumerConnector) kafka.consumer.Consumer .createJavaConsumerConnector(createConsumerConfig()); this.topic =topic; } private ConsumerConfig createConsumerConfig() { Properties props = new Properties(); /* 指定zookeeper的连接的字符串 */ props.put("zookeeper.connect", "130.60.23.193:2181,130.60.23.194:2181,130.60.23.195:2181"); props.put("group.id", "zk999"); // 如果true,consumer定期地往zookeeper写入每个分区的offset props.put("auto.commit.enable", "true"); /* consumer向zookeeper提交offset的频率,单位是秒 */ props.put("auto.commit.interval.ms", 60 * 1000); /* * zookeeper * 会话的超时限制。如果consumer在这段时间内没有向zookeeper发送心跳信息,则它会被认为挂掉了,并且reblance将会产生 */ props.put("zookeeper.session.timeout.ms", "50000"); /* 客户端在建立通zookeeper连接中的最大等待时间 */ props.put("zookeeper.connection.timeout.ms", "20000"); /* rebalance时的最大尝试次数 */ /* * 当新的consumer加入到consumer group时, * consumers集合试图重新平衡分配到每个consumer的partitions数目。 * 如果consumers集合改变了,当分配正在执行时,这个重新平衡会失败并重入 */ props.put("rebalance.max.retries", "5"); /* 在重试reblance之前backoff时间 */ props.put("rebalance.backoff.ms", "12000"); /* * zookeeper中没有初始化的offset时,如果offset是以下值的回应: * smallest:自动复位offset为smallest的offset largest:自动复位offset为largest的offset * anything else:向consumer抛出异常 */ props.put("auto.offset.reset", "largest"); /* ZK follower可以落后ZK leader的最大时间 */ props.put("zookeeper.sync.time.ms", "1200"); /* 这个参数避免在没有新数据的情况下重复频繁的拉数据。 如果拉到空数据,则多推后这个时间 */ props.put("backoff.increment.ms", 1000); return new ConsumerConfig(props); } public void run() { Map<String, Integer> topickMap = new HashMap<String, Integer>(); topickMap.put(topic, 1); Map<String, List<KafkaStream<byte[], byte[]>>> streamMap = consumer.createMessageStreams(topickMap); KafkaStream<byte[], byte[]> stream = streamMap.get(topic).get(0); ConsumerIterator<byte[], byte[]> it = stream.iterator(); System.out.println("*********Results********"); int i = 1; while (it.hasNext()) { System.out.println( Thread.currentThread() + " 接收到的第几个消息 " + i++ + " ------ " + new String(it.next().message())); try { Thread.sleep(800); this.consumer.commitOffsets(); } catch (Exception e) { e.printStackTrace(); } } } public static void main(String[] args) { KafkaComsuerUtil consumerThread = new KafkaComsuerUtil("ADAPTER_QUEUE_SOLR_S1000"); consumerThread.start(); }}
阅读全文
0 0
- 6、应用开发
- iOS 6应用开发实战
- iOS 6应用开发实战
- 应用开发
- Lotus Domino 6应用开发手册
- NetBeans中JSF应用开发(6)
- NetBeans中JSF应用开发(6)
- spark应用开发---Spark学习笔记6
- android应用开发学习纪实(6)
- 6)Win10-UWA开发 应用生命周期
- Spring Boot实践应用开发(6)
- iOS开发6-多视图应用
- (6/11)JSP开发业务应用
- 精选6款JavaWEB应用开发工具
- 数据库开发(6)应用设计与开发
- iOS开发 - 应用国际化开发
- iOS开发 - 应用国际化开发
- UEFI开发之应用开发
- Leetcode Spiral Matrix II
- python 环境
- css优先级
- 关于maven的使用方式
- Jquery 获取 radio选中值
- 6、应用开发
- Android 低功耗蓝牙的多设备连接与数据接收,简单实现
- 服务器获取客户端真实IP
- 【Go】原生http get和post请求框架
- win7下xgboost安装教程
- 如何理解持续集成、持续交付、持续部署?
- 【性能测试】-loadrunner压力场景设置(三)
- JSM 相关笔记
- 解决启动WebLogic输入用户名密码问题 & 密码重置