并行使用 Akka Streams Kafka Producer

Question

我想并行写入 kafka，即让多个生产者向 kafka 发送数据，尽管是在 akka-stream 中。在其他情况下，我的流将从源开始有几个初始阶段，然后在到达发送数据时，我希望有大约 16 个工作人员同时发送数据。

我想知道我是否需要将 Akka Streams Kafka 嵌入到 akka-stream Graph DSL 中并为此使用平衡器，或者是否有更简单的解决方案。另外，简单地说，如果有人做过类似的事情，那就太好了。

Answer 1

Akka Streams Kafka（又名 Reactive Kafka）为生产者并行度提供了特定设置（参见 docs）

akka.kafka.producer {
  # Tuning parameter of how many sends that can run in parallel.
  parallelism = 100

  ...
}

您是否尝试过调整它来解决您的问题？

Using Akka Streams Kafka Producer in parallel