如何使用 KSQL 将 kafka 集群中存在的所有主题存储到另一个主题

How to store all topics present in the kafka cluster to another topic using KSQL

我是 KSQL 的新手。我想使用 KSQL 查询将 kafka 集群中存在的所有主题名称存储到另一个主题。 来自 KSQL CLI 的 SHOW TOPICS; 为我提供了主题列表。我想通过创建流将所有这些主题信息存储在另一个主题中。 我将轮询这个新主题(使用消费者),每当在集群中创建新主题时,我的消费者将收到一条消息。 我想要一个 KSQL 查询来完成这个。

提前致谢。

您目前无法使用 ksqlDB 实现您想要的。 SHOW TOPICS命令是系统命令,不是sql语句。所以查询的输出不能通过管道传输到流中。

ksqlDB 允许您处理 Kafka 集群中主题内的数据。它(还)不允许您处理 Kafka 集群的元数据,例如主题列表或消费者群体等

可能值得在 GitHub 上提出功能请求:https://github.com/confluentinc/ksql/issues/new/choose