Clickhouse kafka table engine with many consumer
Clickhouse kafka table engine with many consumer
我计划通过使用以下方法将我的 kafka 主题提取到 SummingMergeTree 中来对 Clickhouse 进行一些测试：https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在开发环境中的测试，我不担心数量，但在生产环境中我们已经在使用这些主题，我们必须让许多消费者能够尽可能快地阅读消息推入。我的问题是：在 Clickhouse 上有没有办法让许多 kafka 消费者在一个 table 上使用 kafka 引擎？
谢谢，
罗马式
阅读文档似乎 Kafka 引擎中的 num_consumers 参数正是您所需要的：
num_consumers – The number of consumers per table. Default: 1. Specify
more consumers if the throughput of one consumer is insufficient. The
total number of consumers should not exceed the number of partitions
in the topic, since only one consumer can be assigned per partition.
我计划通过使用以下方法将我的 kafka 主题提取到 SummingMergeTree 中来对 Clickhouse 进行一些测试：https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在开发环境中的测试，我不担心数量，但在生产环境中我们已经在使用这些主题，我们必须让许多消费者能够尽可能快地阅读消息推入。我的问题是：在 Clickhouse 上有没有办法让许多 kafka 消费者在一个 table 上使用 kafka 引擎？
谢谢，
罗马式
阅读文档似乎 Kafka 引擎中的 num_consumers 参数正是您所需要的：
num_consumers – The number of consumers per table. Default: 1. Specify more consumers if the throughput of one consumer is insufficient. The total number of consumers should not exceed the number of partitions in the topic, since only one consumer can be assigned per partition.