是否可以通过 StreamSets Data Collector (SDC) 创建 Kafka 主题？

Question

我正在使用 StreamSets 数据收集器 (SDC) Web 工具创建一个管道，通过 Kafka 生产者将数据从我的本地系统传输到 Kafka。但是，我必须先手动创建要存储数据的主题。是否可以通过 StreamSets 创建主题？

Answer 1

默认情况下，Kafka 配置为自动创建主题。您可以在 broker config 中设置 num.partitions 以更改每个主题的分区数，而不是其默认值 1。

如果您想从管道创建主题，您可以触发 shell executor from the pipeline start event to create a topic。

请注意，无法从阶段事件创建主题，因为这些事件在数据发送到目的地后触发，并且您希望主题在管道开始发送数据之前就存在。