Google S3 对象上的云视频智能 API

Google Cloud Video Intelligence API on S3 objects

使用 Google Cloud Video Intelligence API process/analyze S3 对象的最佳方法是什么? 我目前的计划是将 S3 对象复制到 Google 云存储 (GCS),然后调用 API。要从 S3 复制到 GCS,看起来 Google 云传输服务 API 是唯一的选择。

我想要的流程是:

  1. 用户上传到 S3。

  2. 我的后端使用 Google 云传输服务 API 从 S3 复制到 GCS API。

  3. 运行 Google 复制对象上的云视频智能API。

  4. 检索结果。

  5. 删除复制的对象。

是否有更好的替代方案可以避免复制?如果不是,传输服务 API 是否是复制单个对象的正确选择?

谢谢。

如果您必须将数据存储在作为权威来源的 S3 中,那么我认为您当前的计划可能是最好的计划。如果您可以使用 GCS 作为您的数据之家,那显然会使这项特定任务变得更容易。

Google Cloud 的 API 希望能够轻松快速地访问数据(而不是试图从 S3 等远程服务中提取数据)。这意味着(从 Google 的角度来看)保存该数据的唯一合理位置是在 GCS 中。

Google Cloud Storage 的传输服务绝对是正确的选择,它允许您安排定期传输(如果这对您的用例有意义)或按需触发一次性传输。在 S3 作为数据源的情况下,您还可以应用过滤器来包含或排除(例如,目录前缀) 根据最后修改时间限制传输(如 S3 报告的那样) .

在上面您可以看到如何按前缀过滤要传输的文件,以及仅传输在过去 24 小时内更改过的文件。