安排查询以在 BigQuery 中的项目之间从数据集中复制数据
scheduling a query to copy data from a dataset between projects in BigQuery
我们想使用计划查询对 BigQuery 执行测试。
测试从数据集中检索 table,基本上,将其复制到另一个项目中的另一个数据集(我们作为所有者获得许可)。到目前为止,我们设法通过在 Google Compute Engine 实例中针对 BigQuery API 在 R 中编写的脚本来做到这一点,但我们 want/need 在 BigQuery 中使用计划查询来做到这一点。
如果我只是编写一个检索初始 table 数据的查询并尝试安排它,我看到有一个项目选择器但它被禁用所以看起来我与用户的项目相关联我正在登录。
这是可行的还是我做得太过头了,使用 API 是唯一的选择?
Is this doable or am I overdoing it and using the API is the only option to do this?
当前的调度程序逻辑不允许这样做,因此,项目 drop-down 在 webUI 中被禁用。
例如,我尝试设置此计划作业
CREATE TABLE IF NOT EXISTS `projectId.partitionTables.tableName` (Field0 TIMESTAMP) --AS SELECT * FROM mydataset.myothertable
这是从 transferAPI
返回的错误
您需要要求 BigQuery 团队将此选项添加到调度程序的未来版本中 API
我们想使用计划查询对 BigQuery 执行测试。
测试从数据集中检索 table,基本上,将其复制到另一个项目中的另一个数据集(我们作为所有者获得许可)。到目前为止,我们设法通过在 Google Compute Engine 实例中针对 BigQuery API 在 R 中编写的脚本来做到这一点,但我们 want/need 在 BigQuery 中使用计划查询来做到这一点。
如果我只是编写一个检索初始 table 数据的查询并尝试安排它,我看到有一个项目选择器但它被禁用所以看起来我与用户的项目相关联我正在登录。
这是可行的还是我做得太过头了,使用 API 是唯一的选择?
Is this doable or am I overdoing it and using the API is the only option to do this?
当前的调度程序逻辑不允许这样做,因此,项目 drop-down 在 webUI 中被禁用。
例如,我尝试设置此计划作业
CREATE TABLE IF NOT EXISTS `projectId.partitionTables.tableName` (Field0 TIMESTAMP) --AS SELECT * FROM mydataset.myothertable
这是从 transferAPI
返回的错误您需要要求 BigQuery 团队将此选项添加到调度程序的未来版本中 API