Confluent Sink 连接器 - 多少就太多了

Question

1. 我想使用 Confluent 接收器连接器更新远程服务器上的 Postgres 数据库。平均每天我们可能有 1000-2000 条消息（更新）。创建数百个接收器连接器以将这些消息复制到所有远程服务器是否“合法”？有那么多接收器连接器很正常吗？

2. 是否可以告诉接收器连接器“分散”他们的工作，这样不是所有 100 个连接器都会同时将更改推送到远程服务器？ 应该使用“timestamp.delay.interval.ms”吗？

谢谢

Answer 1

1. 理论上，每个目标服务器可以有一个连接器。一个连接器可以将数据从多个主题流式传输到单个服务器。如果配置因主题而异（例如不同的主键列名称、不同的 insert.mode 要求等），您可能会发现自己增加了连接器的数量 - 这是完全有效的（“合法”）

2. 每个 connector 将生成一个或多个 tasks 来执行工作。如果一个连接器正在为多个目标对象流式传输数据，它可以并行处理并发任务如果您希望。如果您想以串行方式传输数据，以便只有一个连接到数据库，则相应地设置 tasks.max。

要了解有关 connector/task 执行模型的更多信息，请参阅 docs and tutorial video。