Kafka0.10的新特性一览
来源:互联网 发布:linux 7 dns配置 编辑:程序博客网 时间:2024/05/17 09:36
2016年5月Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化,这里列出比较重要的几项:
- Streams
如果你有这样的需求,从Kafka拉取数据进行流处理然后再推送回Kafka,那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库,它实现了一系列流处理动作(例如join,filter,aggregate等),能够帮助你构建一个功能齐全的低延迟的流处理系统。它支持有状态或无状态的处理,并且能够被部署在各种框架和容器中(例如YARN,Mesos,Docker),也可以集成在Java应用里。
- 机架感知
和Hadoop一样,Kafka现在也实现了机架感知。如果所有备份都在单个机架上,那么一旦这个机架出问题,那么所有的备份都将失效。现在Kafka会让备份分布在不同的机架上,显著的提高了可用性。
- Message中加入Timestamp
在Message中加入了Timestamp,如果没有被用户声明,该字段会被自动设为被发送的时间。这使得Kafka Streams实现了基于时间事件的流处理,你也可以使用Timestamp来实现消息的追踪查找。除次之外Message中还加入了checksum(但并不是保存在Kafka中,只是取出来之后计算),可以以比较小的代价比对Message。
- SASL增强
Kafka0.9提供了SASL/Kerberos,在0.10中增加了更多的SASL功能,比如SASL/Plaintext
- Kafka Connect Rest API
在之前的版本中,用户只能通过log来监控Connector的状态。在0.10中增加了监控和控制的API,可以列出所有的Connector状态,并且可以暂停或重启任务。
- Kafka Consumer Max Record
在0.9中,如果想要控制Consumer的单次请求返回数据量,只能控制timeout的大小,0.10加入新的Consumer参数max.poll.records来控制返回的数据条数
- 协议版本改进(Protocol Version Improvements)
Kafka brokers现在支持返回所有支持的协议版本的请求API,这个特点的好处就是以后将允许一个客户端支持多个broker版本。
- Kafka0.10的新特性一览
- Kafka0.10的新特性一览
- kafka0.9新特性
- kafka0.8新特性小结
- Spark整合kafka0.10.0新特性(一)
- Spark整合kafka0.10.0新特性(二)
- kafka0.9.0 新特性(对比0.8)
- J2SE 1.5版本的新特性一览
- J2SE 1.5版本的新特性一览
- Servlet3.0引入的新特性一览
- CSS3新特性一览
- JDK6新特性一览
- JAVA8新特性一览
- 一览HTML5新特性
- Java7新特性一览
- JDK8新特性一览
- Swift4 新特性一览
- JDK1.5新特性一览
- 171112 Learning Python Chapter 26 Class Coding Basics
- Qt5--QSS学习笔记(一)
- vue组件(一)
- 习题4.1(2)
- oracle中的锁表相关的操作,session会话的释放
- Kafka0.10的新特性一览
- 文章标题
- Unable to find vcvarsall.bat问题的解决
- HDU 6242 Geometry Problem (随机数,几何)
- dwz4j企业级Java Web快速开发框架(Mybatis + SpringMVC) + jUI整合应用
- easyUI显示echarts
- MySql创建数据库
- CodeForces505B【floyd】/C【记忆化搜索】
- HTML 属性