云功能无法移动存档桶中的文件

Question

我已经根据 link https://cloud.google.com/solutions/streaming-data-from-cloud-storage-into-bigquery-using-cloud-functions

实现了一个架构

但问题是多个文件同时出现（对于 E:g。3 个文件出现在同一时间戳（21/06/2020，12:13:54 UTC+5:30） ) 桶中。在这种情况下，云功能无法在处理后将具有相同时间戳的所有这些文件移动到成功存储桶。

有人可以建议一下吗。

Answer 1

Google Cloud Storage 不是文件系统。您只能创建、读取和删除 BLOB。因此，您不能移动文件。存在于控制台或某些客户端库（例如 python 中）的 MOVE 执行 CREATE（将现有 BLOB 复制到目标名称），然后执行旧 BLOB 的 DELETE。

最终，您无法在执行 MOVE 操作时保留原始时间戳。

注意：因为您在移动文件时执行了 CREATE 和 DELETE，所以当您使用 类（例如 Nearline、coldline 和 archive）时，您需要支付 early deletion 的费用