bigqueryoperator 气流上的 Bigquery 脚本
Bigquery Scripting on a bigqueryoperator airflow
是否可以在 airflow BigQueryOperator (airflow 1.10.12) 中执行 bigquery 脚本？有人设法做到吗？
我试过类似的东西 :
test = BigQueryOperator(
task_id='test',
sql="""DECLARE aaa STRING;
SET aaa = 'data';
CREATE OR REPLACE TABLE `project-id.dataset-id.TEST_DDL` as select aaa as TEST;""",
use_legacy_sql = False,
create_disposition=False,
write_disposition=False,
schema_update_options=False,
location='EU')
但我得到的只是 'Not found: Dataset was not found in location US at [3:9]'
实际上我发现了这个问题，它与 bigqueryoperator 有关。实际上，在编写脚本时，bigquery 插入作业中没有引用 tables 目标 table。在这种情况下，bigquery 默认将工作地点设置在美国。就我而言，因为我的数据集在欧盟，所以工作失败了。 bigqueryoperator 中有一个 location 参数，但如果在作业引用对象中，则操作员错误地将其传递到作业的配置对象中。这使它毫无用处。该问题已在气流 2 中得到纠正。
是否可以在 airflow BigQueryOperator (airflow 1.10.12) 中执行 bigquery 脚本？有人设法做到吗？ 我试过类似的东西 :
test = BigQueryOperator(
task_id='test',
sql="""DECLARE aaa STRING;
SET aaa = 'data';
CREATE OR REPLACE TABLE `project-id.dataset-id.TEST_DDL` as select aaa as TEST;""",
use_legacy_sql = False,
create_disposition=False,
write_disposition=False,
schema_update_options=False,
location='EU')
但我得到的只是 'Not found: Dataset was not found in location US at [3:9]'
实际上我发现了这个问题，它与 bigqueryoperator 有关。实际上，在编写脚本时，bigquery 插入作业中没有引用 tables 目标 table。在这种情况下，bigquery 默认将工作地点设置在美国。就我而言，因为我的数据集在欧盟，所以工作失败了。 bigqueryoperator 中有一个 location 参数，但如果在作业引用对象中，则操作员错误地将其传递到作业的配置对象中。这使它毫无用处。该问题已在气流 2 中得到纠正。