有没有办法直接将 Amazon MSK Topic 转储到 S3？
Is there a way to dump Amazon MSK Topic to S3 directly?
我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我看不到任何选择。我需要编写自己的消费者还是有办法直接将 Amazon MSK 消费者输出消费到 s3？
MSK 没有直接的方法。您可以使用外部消费者来执行此操作，或者最好在与 MSK 相同的 VPC 内的 EC2 中使用 KafkaConnect。
无论哪种方式，您都需要考虑高可用性和数据传输成本。对于HA，使用不同可用区的消费者。对于成本，使用允许消费者从最近的副本获取数据的MSK 2.4.1。
Kafka Connect 通常是在 Kafka 和系统向下（和向上）流（例如 S3）之间获取数据的最佳 (easiest/scalable/portable/resilient) 方式。详细了解 Kafka Connect here and in this talk here。
MSK Connect 可以 运行 Kafka Connect 工作负载用于 AWS 上的 MSK。
您的另一个选择是 运行 您自己的 Kafka Connect worker（连接到 MSK）并使用 S3 sink connector (tutorial).
我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我看不到任何选择。我需要编写自己的消费者还是有办法直接将 Amazon MSK 消费者输出消费到 s3？
MSK 没有直接的方法。您可以使用外部消费者来执行此操作，或者最好在与 MSK 相同的 VPC 内的 EC2 中使用 KafkaConnect。
无论哪种方式，您都需要考虑高可用性和数据传输成本。对于HA，使用不同可用区的消费者。对于成本，使用允许消费者从最近的副本获取数据的MSK 2.4.1。
Kafka Connect 通常是在 Kafka 和系统向下（和向上）流（例如 S3）之间获取数据的最佳 (easiest/scalable/portable/resilient) 方式。详细了解 Kafka Connect here and in this talk here。
MSK Connect 可以 运行 Kafka Connect 工作负载用于 AWS 上的 MSK。
您的另一个选择是 运行 您自己的 Kafka Connect worker（连接到 MSK）并使用 S3 sink connector (tutorial).