Argo:可变数量的输出工件
Argo: Variable number of output artifacts
在我的 Argo 工作流程步骤之一中,Docker 容器将一个大文件拆分为多个较小的文件。
这些教程展示了如何通过一次一个地检查每个输出,将少量和预先确定的输出(例如 2 或 3)作为工件保存在 S3 存储桶中。
在我的用例中,我事先不知道将创建多少个小文件;它可以超过数百个。大量的输出文件使得即使我知道提前创建了多少小文件,也很难按照教程逐个指定,即使不是不可能。
有没有办法将所有输出保存到 S3 存储桶?
这听起来像是标准输出工件。您可以将所有文件放在一个目录中,然后将该目录作为输出工件。
这里有一些例子可以帮助你:
https://argoproj.github.io/argo-workflows/examples/#artifacts
在我的 Argo 工作流程步骤之一中,Docker 容器将一个大文件拆分为多个较小的文件。
这些教程展示了如何通过一次一个地检查每个输出,将少量和预先确定的输出(例如 2 或 3)作为工件保存在 S3 存储桶中。
在我的用例中,我事先不知道将创建多少个小文件;它可以超过数百个。大量的输出文件使得即使我知道提前创建了多少小文件,也很难按照教程逐个指定,即使不是不可能。
有没有办法将所有输出保存到 S3 存储桶?
这听起来像是标准输出工件。您可以将所有文件放在一个目录中,然后将该目录作为输出工件。
这里有一些例子可以帮助你:
https://argoproj.github.io/argo-workflows/examples/#artifacts