由于 ARM 不兼容,替代 Kafka-connect

Alternative to Kakfa-connect due to ARM incompability

我一直在使用 kafka(使用 wurstmeister 图像,但我也尝试使用 confluent 图像设置 broker 和 zookeeper 并且它有效)有一段时间了,我现在正在尝试设置 kafka- connect 这样我就可以直接将消息从 kafka 主题加载到 S3。但是,我已经 运行 解决了几个问题。 Qemu 错误,java.lang.ExceptionInInitializerError 在 org.eclipse.jetty.http.MimeTypes 等,我读到它与缺少 ARM 支持有关 (https://github.com/confluentinc/common-docker/issues/117 and https://github.com/docker/buildx/issues/542)。我已经尝试 运行 docker compose with platform: linux/amd64,但还是不行。

我想知道是否有人有任何解决方法来使 kafka-connect 正常工作,或者您是否知道任何替代方法。

谢谢!

您不需要 Docker 到 运行 Kafka Connect。

  • 在您的 Mac
  • 上安装 Java
  • 下载卡夫卡
  • 运行 Zookeeper 和 Kafka(this M1 Mac 可能有问题)
  • 运行 bin/connect-distributed.sh config/connect-distributed.properties

如果您真的需要 Docker,您可以从其他来源重建图像,such as mine,它从 adoptopenjdk:11-jre 基础图像构建,支持 ARM