如何在airflow中设置emr_default
How to set up emr_default in airflow
亲爱的 Whosebug 会员,
我正在尝试使用 Airflow 来安排启动集群的 DAG,运行 一些 spark 作业随后自行终止。我试着按照这个例子:
https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py
它给了我错误: airflow.exceptions.AirflowException: The conn_id emr_default
isn't defined
我可能需要设置 emr_default
(如果不是这种情况,请纠正我)。有没有人以前尝试过这个并给我一些关于如何设置它的提示? Airflow 网站没有提供太多关于 emr 连接的信息:http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections
谢谢!
在 airflow UI 上,转到管理 -> 连接选项卡,然后编辑 emr_default 行的值。
正如@Him 所说,您可以在气流中进行编辑。
但是如果你找不到 emr_default
,你可以去 Admin
-> Connections
-> Create
添加你想要的任何连接
亲爱的 Whosebug 会员,
我正在尝试使用 Airflow 来安排启动集群的 DAG,运行 一些 spark 作业随后自行终止。我试着按照这个例子:
https://insight.io/github.com/apache/incubator-airflow/blob/master/airflow/contrib/example_dags/example_emr_job_flow_automatic_steps.py
它给了我错误: airflow.exceptions.AirflowException: The conn_id emr_default
isn't defined
我可能需要设置 emr_default
(如果不是这种情况,请纠正我)。有没有人以前尝试过这个并给我一些关于如何设置它的提示? Airflow 网站没有提供太多关于 emr 连接的信息:http://pythonhosted.org/airflow/configuration.html?highlight=connection#connections
谢谢!
在 airflow UI 上,转到管理 -> 连接选项卡,然后编辑 emr_default 行的值。
正如@Him 所说,您可以在气流中进行编辑。
但是如果你找不到 emr_default
,你可以去 Admin
-> Connections
-> Create
添加你想要的任何连接