AWS MSK vs Confluent 托管 Kafka?

AWS MSK vs Confluent for hosting Kafka?

就最大价值投资而言,在托管端到端 Kafka 事件采购方面,AWS MSK 与 Confluent 相比如何?

用于比较的主要标准是:

  1. 监控
  2. 易于部署和配置
  3. 安全

我使用过开源、本地 Cloudera 和 MSK。将他们放在一起比较时,他们都有自己的怪癖。

  1. 如果你只是基于配置安全Kafka集群的速度。我认为 MSK 会轻而易举地获胜。拥有 Kafka、AWS Certificate Manager 和 Terraform 的人可以非常快速地完成这一切。虽然 Terraform TLS 和 AWS CLI 存在一些问题,但有解决方法。

  2. 如果您打算使用 Kafka Connect,那么 confluent 就很有意义。

  3. 如果您有编写 Kafka Connect sinks 和 source 经验的 Kafka 开发人员。好吧,那么您可能不需要融合的基于订阅的模型。虽然你可能不会节省很多钱。要么花在开发上,要么花在订阅费用上。

  4. 如果你喜欢无服务器 - MSK 相当不错。但是,没有 SSH 访问 Kafka 集群。您无法调整 JVM。

  5. 通过 JMX 指标和 prometheus 的开放式监控为 MSK 构建了开箱即用的监控。您也有 CloudWatch。但是开放式监控几乎可以提供您需要的所有指标。在开源中,您可以轻松部署监控。 MSK 斯隆也在做同样的事情。

  6. MSK 使用 TLS 或 IAM 提供安全性。尽管使用 Terraform 为 MSK 启用基于 IAM 的安全性存在一些问题。 2 路 TLS 客户端身份验证非常容易设置。

  7. MSK 还提供自动缩放功能,但如果您打算使用 Terraform,可能会出现一些互操作性问题。

我相信这里的人可以在 confluent 上添加更多内容。