Airflow 机器学习引擎 Package_URI

Airflow ML Engine Package_URI

程序包 URI 的用途是什么?是强制性的吗?如果是这样,我该如何创建一个? 目前我将我的模型包转换为正确的格式:

model.py
task.py
_init_.py

我假设您在 MLEngineTrainingOperator 中询问 package_uris。

关于它的说明可以在Cloud ML Engine Documentations中找到。 有一点不同的是,与使用 gcloud 时不同,Airflow 集成是强制性的,你需要自己 provide/pakcage 一个包,因为 Airflow 操作员是远程 运行ning 并且它不能从你的本地打包目录。

您可能需要的是 setup.py 基于 setuptools,具有适当的依赖关系。 (顺便说一句,_init_.py 不是有效文件,__init__.py 是。) 当目录准备好后,您可以简单地运行以下命令来上传包。

python setup.py sdist 
gsutil cp dist/<tarfile> gs://<your_bucket>/<folder>/

或者,如果您已经有一个使用 gcloud ml-engine jobs submit training 命令上传的包,您只需提供 uri 即可重新使用它。

我能够 manually build the package 并将其放入 Cloud composer 存储桶中。然后我提供了存储桶中文件的路径:

package_uris=["gs://us-central1-ml-engine/trainer-0.1.tar.gz"]