dcos-kafka-service 和 mesos-kafka 的区别

difference between dcos-kafka-service and mesos-kafka

我正在做一个 POC,将 Kafka 作为一个应用程序部署在 Mesos 集群上。我在 github 上遇到了这两个代码库。一个由 apache-mesos (github page) & other developed by mesosphere and can run only on DCOS (github page) 开发的。

问题:想知道DCOS-Kafka和mesos-Kafka在特性和扩展功能方面是否有区别。

关于Mesos-Kafka: 在过去的几个月里,我没有看到 mesos-kafka 的 github(和一些未解决的问题)的积极参与。我可以假设该服务足够强大,可以在生产环境中使用吗?对此的任何输入都会有所帮助。

kakfa-mesos 是一个包含 Kafka 版本和自定义 mesos 调度程序的软件包,旨在解决 运行 Kafka 作为 Marathon 上的有状态服务的问题。我认为 post 但 confluent 很有用。它还包括一个 RESTful api 用于执行操作任务,旨在将来包含这些功能(这是从我链接的文章中提取的)

  • 将 Kafka 命令(例如 kafka-topics 等)集成到调度程序中,以便可以通过 CLI 和 REST 使用它 API。
  • 自动扩展集群(包括分区的自动重新分配),以便代理正在使用的资源(CPU、RAM 等)可以在已知流量低谷的其他地方使用。
  • 用于容错的机架感知分区分配。
  • 挂钩,以便生产者和消费者也可以从调度程序启动并通过集群进行管理。
  • 基于负载和流量的自动分区重新分配

我自己还没有在生产环境中使用过它,但它有 Confluent 的支持,这是一个好兆头。

DC/OS 另一方面,Kafka 是一项 DC/OS 服务,只有当您已经 运行 或计划通过 Mesosphere 的 运行 服务时,它才有用。 =43=]。它还包括一个 API 和一个 CLI 管理工具,但在附加功能方面没有那么雄心勃勃。它的当前功能集包括

  • rapid 配置的单命令安装
  • 多租户的多集群 DC/OS
  • 高可用性运行时配置和软件更新
  • 用于增强数据持久性的存储卷,称为 Mesos Dynamic * * Reservations 和 Persistent Volumes
  • 与 syslog 兼容的日志记录服务集成以进行诊断和故障排除
  • 与用于容量和性能监控的 statsd 兼容指标服务集成