如何跟踪 Google Cloud public 数据集中的变化?
How to track changes in Google Cloud public datasets?
google 云服务在其云存储服务中有一堆 public datasets 可用。我想跟踪其中一些 public 数据集的更新/添加。 IE。在新文件添加到 public 数据桶时创建某种网络钩子。
我阅读了有关 google pubsub notifications 的信息,即创建 pubsub 主题以在存储桶上推送更改通知的可能性。
但是,我无法确定此类主题是否已存在于我可以订阅的 public 数据集上,或者如何基于 public 数据集桶创建此类主题。
是否有任何方法可以跟踪 public 数据集的变化,可能使用 pubsub?
您可以尝试列出对 public 数据集中每个单独的存储桶执行的更改。例如,数据集 Landsat data
的桶位置为 gs://gcp-public-data-landsat
。正如官方文档 here 中所阐明的,您可以使用命令 gsutil notification watchbucket
.
来监视存储桶
使用此命令及其参数,您应该能够设置要跟踪更新的存储桶以及将此数据发送到的位置。命令示例监视存储桶 gcp-public-data-landsat
的更改并将通知发送到位于 example.com 的应用程序服务器 运行:
gsutil notification watchbucket https://example.com/notify gs://gcp-public-data-landsat
有关命令 notification
的更多信息,请参见 here。
我建议您尝试使用它,因为它似乎是可用的选项,因为没有任何东西 pre-set 或配置为观看这些数据集。
google 云服务在其云存储服务中有一堆 public datasets 可用。我想跟踪其中一些 public 数据集的更新/添加。 IE。在新文件添加到 public 数据桶时创建某种网络钩子。
我阅读了有关 google pubsub notifications 的信息,即创建 pubsub 主题以在存储桶上推送更改通知的可能性。
但是,我无法确定此类主题是否已存在于我可以订阅的 public 数据集上,或者如何基于 public 数据集桶创建此类主题。
是否有任何方法可以跟踪 public 数据集的变化,可能使用 pubsub?
您可以尝试列出对 public 数据集中每个单独的存储桶执行的更改。例如,数据集 Landsat data
的桶位置为 gs://gcp-public-data-landsat
。正如官方文档 here 中所阐明的,您可以使用命令 gsutil notification watchbucket
.
使用此命令及其参数,您应该能够设置要跟踪更新的存储桶以及将此数据发送到的位置。命令示例监视存储桶 gcp-public-data-landsat
的更改并将通知发送到位于 example.com 的应用程序服务器 运行:
gsutil notification watchbucket https://example.com/notify gs://gcp-public-data-landsat
有关命令 notification
的更多信息,请参见 here。
我建议您尝试使用它,因为它似乎是可用的选项,因为没有任何东西 pre-set 或配置为观看这些数据集。