使用 Google Cloud Functions 的长 运行 python 过程

Long running python process with Google Cloud Functions

我正在尝试 运行 Google 云中的 python 脚本,它将每天一次将 50GB 的数据下载到存储桶中。该下载时间可能比 Google Cloud Functions 设置为 9 分钟的超时限制更长。 调用python函数的请求由HTTP触发。

有办法解决这个问题吗?我不需要 运行 HTTP Restful 服务,因为它每天从外部源调用一次。 (无法安排).

整个前提是将大量数据直接下载到云端。 感谢您的任何建议。

9 分钟是 Cloud Functions 的硬性限制,不能超过。如果您不能将您的工作分成更小的单元,一个用于每个函数调用,请考虑使用不同的产品。 Cloud 运行 限制为 15 分钟,Compute Engine 没有适用于您的限制。

Google Cloud Scheduler 可能很适合。

这是一个不错的 google 博客 post,其中显示了如何设置 python 脚本的示例。

p.s。您可能希望将其连接到 App Engine 以进行实际执行。