通过命令 prompt/scheduled 任务验证 bigquery 成功上传

Verifying bigquery successful upload via command prompt/scheduled task

我正在尝试 运行 通过计划任务(.bat 文件)将文件上传到 BigQuery,下面的代码可以很好地执行此操作(获取任何 csv 并使用填充的架构atable同名然后移动原文件)。

我想在其中做的是,如果加载失败而不移动文件 - 任何帮助,或者我是否正在尝试做一些对于简单的命令行执行来说过于复杂的事情?

@ECHO Off
for %%g in (c:\Test\*.csv) do (
    bq load --source_format=CSV my_project:data.%%~ng %%g c:\Test\schema.txt
    move %%g c:\Test\archive\%%~ng.csv
)

注意:在 运行 执行此操作之前,它正在验证我的凭据。

作为最佳实践,您可以为负载手动创建作业 ID job.So 一旦 bigquery 启动作业,您可以定期轮询作业状态以检查状态是否为 SUCCESS/FAILURE/RUNNING,然后您可以根据此状态选择将csv文件移动到存档文件夹。

这里有一些文档链接

Generate Job ID programmatically

Viewing Job Status