Airflow 机器学习引擎 Package_URI
Airflow ML Engine Package_URI
程序包 URI 的用途是什么?是强制性的吗?如果是这样,我该如何创建一个?
目前我将我的模型包转换为正确的格式:
model.py
task.py
_init_.py
我假设您在 MLEngineTrainingOperator 中询问 package_uris。
关于它的说明可以在Cloud ML Engine Documentations中找到。
有一点不同的是,与使用 gcloud
时不同,Airflow 集成是强制性的,你需要自己 provide/pakcage 一个包,因为 Airflow 操作员是远程 运行ning 并且它不能从你的本地打包目录。
您可能需要的是 setup.py 基于 setuptools,具有适当的依赖关系。
(顺便说一句,_init_.py
不是有效文件,__init__.py
是。)
当目录准备好后,您可以简单地运行以下命令来上传包。
python setup.py sdist
gsutil cp dist/<tarfile> gs://<your_bucket>/<folder>/
或者,如果您已经有一个使用 gcloud ml-engine jobs submit training
命令上传的包,您只需提供 uri 即可重新使用它。
我能够 manually build the package 并将其放入 Cloud composer 存储桶中。然后我提供了存储桶中文件的路径:
package_uris=["gs://us-central1-ml-engine/trainer-0.1.tar.gz"]
程序包 URI 的用途是什么?是强制性的吗?如果是这样,我该如何创建一个? 目前我将我的模型包转换为正确的格式:
model.py
task.py
_init_.py
我假设您在 MLEngineTrainingOperator 中询问 package_uris。
关于它的说明可以在Cloud ML Engine Documentations中找到。
有一点不同的是,与使用 gcloud
时不同,Airflow 集成是强制性的,你需要自己 provide/pakcage 一个包,因为 Airflow 操作员是远程 运行ning 并且它不能从你的本地打包目录。
您可能需要的是 setup.py 基于 setuptools,具有适当的依赖关系。
(顺便说一句,_init_.py
不是有效文件,__init__.py
是。)
当目录准备好后,您可以简单地运行以下命令来上传包。
python setup.py sdist
gsutil cp dist/<tarfile> gs://<your_bucket>/<folder>/
或者,如果您已经有一个使用 gcloud ml-engine jobs submit training
命令上传的包,您只需提供 uri 即可重新使用它。
我能够 manually build the package 并将其放入 Cloud composer 存储桶中。然后我提供了存储桶中文件的路径:
package_uris=["gs://us-central1-ml-engine/trainer-0.1.tar.gz"]