我如何验证发送到 PubSub 的所有消息是否已正确发送?
How can I verify that all the messages sent to PubSub have been sent correctly?
我是 运行 从 PubSub 读取并写入 BigQuery 的 Dataflow 流式传输管道。当我尝试验证是否所有消息都已写入 BigQuery 时,我发现有些消息丢失了。
如何验证发送到 PubSub 的所有消息是否已正确发送?
如果您在 PubSub 发布者 (cloud.google.com/pubsub/publisher) 上收到 OK 响应,则应该表示它们已正确发送。您可以尝试在您的发布者处记录所有已发布的消息 ID,并在您的管道中记录所有收到的消息 ID(例如,将它们放入 BigQuery 列)。
我是 运行 从 PubSub 读取并写入 BigQuery 的 Dataflow 流式传输管道。当我尝试验证是否所有消息都已写入 BigQuery 时,我发现有些消息丢失了。
如何验证发送到 PubSub 的所有消息是否已正确发送?
如果您在 PubSub 发布者 (cloud.google.com/pubsub/publisher) 上收到 OK 响应,则应该表示它们已正确发送。您可以尝试在您的发布者处记录所有已发布的消息 ID,并在您的管道中记录所有收到的消息 ID(例如,将它们放入 BigQuery 列)。