将同一 Kafka 主题的事件汇入 GCS 中的多个路径
Sink events of a same Kafka topic into multiple paths in GCS
我正在使用具有 RecordNameStrategy 命名策略的模式注册表，因此我将具有完全不同的 avro 模式的事件放入同一个 Kafka 主题中。
我这样做是因为我想将可能具有不同数据结构的逻辑相关事件分组在同一主题下，以保持这些数据的顺序。
例如：
user_created 事件和 user_mail_confirmed 事件可能有不同的模式，但重要的是将它们保存在同一主题分区中以保证消费者的顺序。
我正在尝试将来自单个主题的这些数据通过多个路径（每个模式一个路径）汇入 GCS
有人知道 Confluent Kafka connect GCS Sink 连接器（或任何其他连接器）是否为我们提供了该功能吗？
我没有使用过 GCS 连接器，但我想这通常无法使用 Confluent 连接器。
您可能应该将具有不同数据结构的源主题复制到一组新主题中，其中数据具有共同的数据结构。这可以通过 ksqlDB（检查 example）或 Kafka Streams 应用程序实现。然后，您可以为这些主题创建连接器。
或者，您可以使用 RegexRouter 转换和一组基于消息 headers 的谓词。
我正在使用具有 RecordNameStrategy 命名策略的模式注册表，因此我将具有完全不同的 avro 模式的事件放入同一个 Kafka 主题中。
我这样做是因为我想将可能具有不同数据结构的逻辑相关事件分组在同一主题下，以保持这些数据的顺序。
例如：
user_created 事件和 user_mail_confirmed 事件可能有不同的模式，但重要的是将它们保存在同一主题分区中以保证消费者的顺序。
我正在尝试将来自单个主题的这些数据通过多个路径（每个模式一个路径）汇入 GCS
有人知道 Confluent Kafka connect GCS Sink 连接器（或任何其他连接器）是否为我们提供了该功能吗？
我没有使用过 GCS 连接器，但我想这通常无法使用 Confluent 连接器。
您可能应该将具有不同数据结构的源主题复制到一组新主题中，其中数据具有共同的数据结构。这可以通过 ksqlDB（检查 example）或 Kafka Streams 应用程序实现。然后，您可以为这些主题创建连接器。
或者，您可以使用 RegexRouter 转换和一组基于消息 headers 的谓词。