kafka 0.8 与 kafka 0.10 的区别

Difference in kafka 0.8 with kafka 0.10

谁能列出 Kafka 0.10 与 kafka 0.8 相比的基本区别特征。

我们正在考虑将我们的 kafka-8 升级到 kafka-10。升级会面临哪些挑战?

提前致谢。

如果您愿意将其升级到 0.10,您可以简单地确定升级的变化和影响。

Upgrading from 0.8.x to 0.10.0.0

0.10 在 0.8

基础上增加了以下内容
  • Kafka 流 API
  • 卡夫卡连接API
  • 新统一消费者API
  • 使用TLS/SSL
  • 传输加密
  • Kerberos/SASL 身份验证支持
  • 访问控制列表
  • 消息的时间戳
  • 减少客户端对 zookeeper 的依赖(偏移量存储在 Kafka 主题中)
  • 客户端拦截器
  • 大量错误修复和改进

这个主要问题已在 0.10 中修复:

0.9客户端的内存和带宽利用率很高。这些问题导致 kafka 代理的资源利用率激增。 P.S.: https://github.com/elodina/go_kafka_client/issues/52

Kafka 0.10 更改

  • 不鼓励 Zookeeper 连接。 从 0.10 开始,将不再需要任何 zookeeper 连接。所有消费数据的连接都将由消费者 API
  • 维护
  • zookeeper 消费者配置路径不会有任何偏移滞后数据
  • 引入了 Kafka 流 API 和连接 API
  • 在 Kafka 0.11 中引入了事务,这使得 Kafka 可以精确地进行一次传递
  • 为了监控偏移量,有一个新的 class KafkaConsumerGroup 命令 class