在 Nifi 中使用 PutGCSObject 处理器在 Google 存储中添加重复对象时出现问题

Question

我正在使用 Nifi 将数据从 Pub/Sub 队列发送到云存储。我正在使用 ConsumeGCPubSub 处理器从队列中获取数据，并使用 PutGCSObject 处理器在 Nifi 中添加云存储。但是 PutGCSObject 处理器正在 Cloud Storage 中发送重复数据。

我还看到此数据在其云存储记录中具有相同的 MD5 哈希码。是什么原因造成的，我该如何解决？

我仔细检查过：

• pub/sub 消息未重复。
• 当我发送30条数据时，Nifi正好来了30条
• 我检查了我的 google 存储有不同的数据。但是没有..
• 当我检查它时，来自队列和作为成功退出 PutGCSObject 处理器的数据数量是相同的，但我看到数据被一遍又一遍地写入。当我查看 NiFi Data Provenance 时，我发现有多个数据具有相同的 FlowFile UUID。

Answer 1

您应该已经将终止端的成功标准连接到处理器。