如何跟踪 Google Cloud public 数据集中的变化?

How to track changes in Google Cloud public datasets?

google 云服务在其云存储服务中有一堆 public datasets 可用。我想跟踪其中一些 public 数据集的更新/添加。 IE。在新文件添加到 public 数据桶时创建某种网络钩子​​。

我阅读了有关 google pubsub notifications 的信息,即创建 pubsub 主题以在存储桶上推送更改通知的可能性。

但是,我无法确定此类主题是否已存在于我可以订阅的 public 数据集上,或者如何基于 public 数据集桶创建此类主题。

是否有任何方法可以跟踪 public 数据集的变化,可能使用 pubsub?

您可以尝试列出对 public 数据集中每个单独的存储桶执行的更改。例如,数据集 Landsat data 的桶位置为 gs://gcp-public-data-landsat。正如官方文档 here 中所阐明的,您可以使用命令 gsutil notification watchbucket.

来监视存储桶

使用此命令及其参数,您应该能够设置要跟踪更新的存储桶以及将此数据发送到的位置。命令示例监视存储桶 gcp-public-data-landsat 的更改并将通知发送到位于 example.com 的应用程序服务器 运行:

gsutil notification watchbucket https://example.com/notify gs://gcp-public-data-landsat

有关命令 notification 的更多信息,请参见 here

我建议您尝试使用它,因为它似乎是可用的选项,因为没有任何东西 pre-set 或配置为观看这些数据集。