Airflow 与 BgQuery Error 集成

Question

我已经安装了 airflow 并编写了一个 DAG 来将 MySQL 数据与 BigQuery 集成。

当我运行 python 脚本时，出现以下错误：

ImportError: cannot import name GbqConnector

我按照说明将 pandas 降级到旧版本。当我这样做时，我得到了一个不同的错误：

ImportError: cannot import name _test_google_api_imports

编辑：建议来自 x97Core 工作。

我现在有一个不同的问题。我收到以下错误：

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927: PendingDeprecationWarning: Invalid arguments were passed to MySqlToGoogleCloudStorageOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:

*args: ()

**kwargs: {'google_cloud_storage_connn_id': 'podioGCPConnection'} category=PendingDeprecationWarning

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927: PendingDeprecationWarning: Invalid arguments were passed to GoogleCloudStorageToBigQueryOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:

*args: ()

**kwargs: {'project_id': 'podio-data'} category=PendingDeprecationWarning

根据此 link，问题在于气流与 python2 和 python3 的兼容性。我已经尝试运行ning 两者的代码，但仍然出现相同的错误。 Airflow mysql to gcp Dag error

有谁知道是否有解决方案？

Answer 1

这可能有点复杂。我建议您阅读这两个很棒的链接

https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow

和 Van Boxel 的介质

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

Answer 2

刚刚运行进入这个问题。

降级 pandas 版本似乎可行（在 Airflow v1.8.0 上测试）：

pip install pandas==0.18.1

更多详情：https://issues.apache.org/jira/browse/AIRFLOW-1179

或者如果您使用的是 Airflow 1.8.2 或更高版本。

pip install pandas-gbq

Airflow 与 BgQuery Error 集成

Airflow integration with BgQuery Error

python

pandas

google-bigquery

airflow

apache-airflow