kafka connect - 消费者处理非常低的入口率
kafka connect - Consumer dealing with very low ingress rate
kafka connect是否适用于消息率非常低的情况。
例如：对于消费者，如果输入消息率非常低或没有消息的时间段 sent/received，kafka connect 可以处理这些场景吗？任何建议都有帮助。
是的。我目前是 运行 一个连接器，每天最多只能生成 10 条消息，即使我们已将其配置为转储到每小时分区中，我们也只能在消息到达时获得 1 个文件夹。
重要的参数是分区轮换（如果您使用的是 TimeBasedPartitioner）和轮换计划 ms - 这会强制连接器定期刷新。
您还可以设置一个非常低的刷新大小以使消息更频繁地提交。如果您有更高的刷新大小，那么消息将被缓冲直到提交发生。即使连接实例死亡，它也应该从之前的偏移量恢复，同时数据保留在主题中
kafka connect是否适用于消息率非常低的情况。 例如：对于消费者，如果输入消息率非常低或没有消息的时间段 sent/received，kafka connect 可以处理这些场景吗？任何建议都有帮助。
是的。我目前是 运行 一个连接器，每天最多只能生成 10 条消息，即使我们已将其配置为转储到每小时分区中，我们也只能在消息到达时获得 1 个文件夹。
重要的参数是分区轮换（如果您使用的是 TimeBasedPartitioner）和轮换计划 ms - 这会强制连接器定期刷新。
您还可以设置一个非常低的刷新大小以使消息更频繁地提交。如果您有更高的刷新大小，那么消息将被缓冲直到提交发生。即使连接实例死亡，它也应该从之前的偏移量恢复，同时数据保留在主题中