如何安排作业在云中执行 Python 脚本以将数据加载到 bigquery?
How to schedule a job to execute Python script in cloud to load data into bigquery?
我正在尝试在云中设置时间表 job/process,以使用 python 脚本将 google 存储桶中的 csv 数据加载到 Bigquery 中。我设法推迟了 python 代码来执行此操作,但不确定我需要在哪里保存此代码,以便此任务可以作为自动化过程完成,而不是 运行 gsutil 命令手动.
Reliable Task Scheduling on Google Compute Engine | Solutions | Google Cloud Platform, the 1st link in Google on "google cloud schedule a cron job", gives a high-level overview. Scheduling Tasks With Cron for Python | App Engine standard environment for Python | Google Cloud Platform,第二个 link,有分步说明。他们归结为:
- 在
app.yaml
旁边以特定格式创建 cron.yaml
- 可选择在开发服务器上对其进行测试
- 使用
appcfg.py update
或 update_cron
将其上传到 Google 云端
我正在尝试在云中设置时间表 job/process,以使用 python 脚本将 google 存储桶中的 csv 数据加载到 Bigquery 中。我设法推迟了 python 代码来执行此操作,但不确定我需要在哪里保存此代码,以便此任务可以作为自动化过程完成,而不是 运行 gsutil 命令手动.
Reliable Task Scheduling on Google Compute Engine | Solutions | Google Cloud Platform, the 1st link in Google on "google cloud schedule a cron job", gives a high-level overview. Scheduling Tasks With Cron for Python | App Engine standard environment for Python | Google Cloud Platform,第二个 link,有分步说明。他们归结为:
- 在
app.yaml
旁边以特定格式创建 - 可选择在开发服务器上对其进行测试
- 使用
appcfg.py update
或update_cron
将其上传到 Google 云端
cron.yaml