如何从 Python 定义中设置 MetaFlow 的 --max-workers 标志?

How to set MetaFlow's --max-workers flag from within Python definition?

MetaFlow 允许您 using the --max-workers CLI flag (ref: https://docs.metaflow.org/metaflow/scaling#safeguard-flags)。但是,我想避免每次都设置它。

是否可以根据 FlowSpec 的 Python 定义设置 --max-workers 标志(无需 CLI)?

CLI 标志设置 METAFLOW_RUN_MAX_WORKERS 环境变量。您可以在 Python 内通过在定义 FlowSpec 之前设置此环境变量来进行设置:

# force MetaFlow to use only 1 concurrent task during a foreach fanout
os.environ.update({"METAFLOW_RUN_MAX_WORKERS": "1"})

来源:与@Savin 聊天