SSIS - RabbitMQ 源丢失消息 (KingswaySoft)
SSIS - RabbitMQ Source missing messages (KingswaySoft)
我正在将 SSIS 包与 Kingsway 的 RabbitMQ 组件一起使用,并且在从队列加载消息时遇到了一些奇怪的行为。我平均每天处理 2,500 条消息,在极少数情况下,单个消息似乎“丢失”(我的客户告诉我他们已将特定消息插入队列,但它没有出现在我这边)。
我对从队列接收到的所有内容以及最终插入数据库的所有内容进行行计数 - 这些计数匹配,所以我相当确定我在处理过程中不会丢失任何内容。
我还将处理过程中的任何错误重新路由到错误表,这样就不会因为内容错误而丢失任何消息。
唯一不提供重新路由错误可能性的组件是 RabbitMQ 源(RabbitMQ 目标提供),因此在极少数情况下我无法检查消息是否由于某种原因被丢弃。
这种行为似乎是随机发生的,大约占所有邮件的 0.005%。
有没有人遇到过类似的问题,或者可以指出任何方向以查找可能的错误?
组件的相关设置为:
RMQ 连接管理器:
RMQ 来源:
编辑:
加载成功后,所有消息都收到了。当消息丢失时,没有为该批次传输任何消息。例如:没有 3 条消息中有 2 条被传输的情况。发生错误时,传输了 3 条消息中的 0 条。队列中的消息仍会得到确认,不会在下一批中传输。
更新:
Kingsway 提供了一个更新的版本,我会尝试一下。
我从 Kingsway 支持团队那里收到了一个新版本。经过一周的测试,问题似乎已经解决了。
我正在将 SSIS 包与 Kingsway 的 RabbitMQ 组件一起使用,并且在从队列加载消息时遇到了一些奇怪的行为。我平均每天处理 2,500 条消息,在极少数情况下,单个消息似乎“丢失”(我的客户告诉我他们已将特定消息插入队列,但它没有出现在我这边)。
我对从队列接收到的所有内容以及最终插入数据库的所有内容进行行计数 - 这些计数匹配,所以我相当确定我在处理过程中不会丢失任何内容。
我还将处理过程中的任何错误重新路由到错误表,这样就不会因为内容错误而丢失任何消息。 唯一不提供重新路由错误可能性的组件是 RabbitMQ 源(RabbitMQ 目标提供),因此在极少数情况下我无法检查消息是否由于某种原因被丢弃。
这种行为似乎是随机发生的,大约占所有邮件的 0.005%。
有没有人遇到过类似的问题,或者可以指出任何方向以查找可能的错误?
组件的相关设置为:
RMQ 连接管理器:
RMQ 来源:
编辑:
加载成功后,所有消息都收到了。当消息丢失时,没有为该批次传输任何消息。例如:没有 3 条消息中有 2 条被传输的情况。发生错误时,传输了 3 条消息中的 0 条。队列中的消息仍会得到确认,不会在下一批中传输。
更新: Kingsway 提供了一个更新的版本,我会尝试一下。
我从 Kingsway 支持团队那里收到了一个新版本。经过一周的测试,问题似乎已经解决了。