基于0.9版本的kafka测试问题
来源:互联网 发布:国内西装品牌 知乎 编辑:程序博客网 时间:2024/06/05 18:10
主要模拟测试kafka的某一个broker挂掉的情况。
public Future<RecordMetadata> send(ProducerRecord<K, V> record)
1、定义partition,key,value
public ProducerRecord(String topic, Integer partition, K key, V value)
这种情况下,测试结果是,如果这个partition所在的broker刚好宕机,那后续的数据会全部丢失
2、定义key,value,不定义partition
public ProducerRecord(String topic, K key, V value)
这种情况下,测试结果是,部分数据丢失
3、只定义value
public ProducerRecord(String topic, V value)
这种情况下,测试结果是,只丢失了一条记录。
个人总结:
所以我们实际使用的情况下,最好不设置partition和key的值,除非必要。
对于我们发送失败的数据,我们需要重新处理,这时我们用到kafka另一个API:
public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback)
重写callback的public void onCompletion(RecordMetadata metadata, Exception e)方法,发送失败我们会捕捉到对应的Exception,由于该方法是异步的,我们可以把发送失败的数据收集起来,在达到一定大小或者一定时间的时候,进行重新发送。
- 基于0.9版本的kafka测试问题
- kafka数据保存时间问题与kafka的性能测试
- kafka数据保存时间问题与kafka的性能测试
- 基于Kafka 0.9版本 使用ACL进行权限控制
- 基于Kafka 0.9版本 使用ACL进行权限控制
- 查看kafka的版本
- kafka版本不匹配问题
- kafka版本不一致导致的一个小问题(二)
- kafka的producer测试
- Kafka的安装测试
- Kafka的安装测试
- kafka的性能测试
- kafka开发配置-----最新kafka版本(0.9.0以后的版本)配置
- kafka-0.10版本单机性能测试
- kafka数据在zookeeper的存储结构(基于kafka0.8版本)
- 基于hdp的kafka使用
- 基于hdp的kafka使用
- Kafka(0.9.0.X版本)的消息传输担保机制
- 将python文件打包成为exe文件
- 编程思想
- 洛谷 P1009 阶乘之和
- Android之eclipse错误 error opening trace file: No such file or directory (2)解决办法总结
- dp(记忆化搜索) + 概率论(全概率)
- 基于0.9版本的kafka测试问题
- 使用CSS3实现60FPS动画
- POJ2718 Smallest Difference
- javascript面向对象学习笔记
- 没有主键的表如何查询表内数据重复条数?
- Spring-AOP-学习笔记
- 一篇文章看懂正则表达式
- Intent--显示意图和隐式意图
- Android应用程序获取ROOT权限的方法