SNOWPIPE 状态 - LastRecievedMessage 时间戳 > LastForwardedMessage 时间戳。消息没有转发?
SNOW PIPE status - LastRecievedMessageTimestamp > LastForwardedMessageTImestamp. are messages not forwarded?
SNOW PIPE 状态:
- 我通常通过查看 LastForwardedMessageTImestamp > LastRecievedMessageTimestamp 来验证 “接收和转发数据” 已完成。
- 在此管道状态中,LastRecievedMessageTimestamp 大于 LastForwardedMessageTImestamp。 这是否意味着 SQS 没有将消息转发到 SNOWPIPE?
您可以阅读以下内容以获取有关管道状态的更多信息:
https://docs.snowflake.com/en/sql-reference/functions/system_pipe_status.html
lastReceivedMessageTimestamp:
从队列中接收到的最后一条消息的时间戳。 请注意,此消息可能不适用于特定管道,例如,如果与消息关联的 path/prefix 与管道定义中的 path/prefix 不匹配。此外,自动摄取管道仅使用由创建的数据对象触发的消息。
lastForwardedMessageTimestamp:
转发到管道的具有匹配 path/prefix 的最后一个“创建对象”事件消息的时间戳。
我认为这解释了为什么 lastReceivedMessageTimestamp 可能大于 lastForwardedMessageTimestamp。
通常您的 notification_channel 对于您帐户中的所有 PIPES 都是相同的。
所有管道都链接到相同的 SQS 队列,因此它们都会在触发文件通知时收到消息。这就是为什么您的所有管道在给定时间都应该具有相同的 lastReceivedMessageTimestamp 的原因。
管道会将消息转发给您给定的 COPY 指令,前提是它与管道定义中配置的 location/pattern 匹配。
SNOW PIPE 状态:
- 我通常通过查看 LastForwardedMessageTImestamp > LastRecievedMessageTimestamp 来验证 “接收和转发数据” 已完成。
- 在此管道状态中,LastRecievedMessageTimestamp 大于 LastForwardedMessageTImestamp。 这是否意味着 SQS 没有将消息转发到 SNOWPIPE?
您可以阅读以下内容以获取有关管道状态的更多信息:
https://docs.snowflake.com/en/sql-reference/functions/system_pipe_status.html
lastReceivedMessageTimestamp:
从队列中接收到的最后一条消息的时间戳。 请注意,此消息可能不适用于特定管道,例如,如果与消息关联的 path/prefix 与管道定义中的 path/prefix 不匹配。此外,自动摄取管道仅使用由创建的数据对象触发的消息。
lastForwardedMessageTimestamp:
转发到管道的具有匹配 path/prefix 的最后一个“创建对象”事件消息的时间戳。
我认为这解释了为什么 lastReceivedMessageTimestamp 可能大于 lastForwardedMessageTimestamp。
通常您的 notification_channel 对于您帐户中的所有 PIPES 都是相同的。 所有管道都链接到相同的 SQS 队列,因此它们都会在触发文件通知时收到消息。这就是为什么您的所有管道在给定时间都应该具有相同的 lastReceivedMessageTimestamp 的原因。
管道会将消息转发给您给定的 COPY 指令,前提是它与管道定义中配置的 location/pattern 匹配。