如何从 Python 定义中设置 MetaFlow 的 --max-workers 标志?
How to set MetaFlow's --max-workers flag from within Python definition?
MetaFlow 允许您 using the --max-workers
CLI flag (ref: https://docs.metaflow.org/metaflow/scaling#safeguard-flags)。但是,我想避免每次都设置它。
是否可以根据 FlowSpec 的 Python 定义设置 --max-workers
标志(无需 CLI)?
CLI 标志设置 METAFLOW_RUN_MAX_WORKERS
环境变量。您可以在 Python 内通过在定义 FlowSpec 之前设置此环境变量来进行设置:
# force MetaFlow to use only 1 concurrent task during a foreach fanout
os.environ.update({"METAFLOW_RUN_MAX_WORKERS": "1"})
来源:与@Savin 聊天
MetaFlow 允许您--max-workers
CLI flag (ref: https://docs.metaflow.org/metaflow/scaling#safeguard-flags)。但是,我想避免每次都设置它。
是否可以根据 FlowSpec 的 Python 定义设置 --max-workers
标志(无需 CLI)?
CLI 标志设置 METAFLOW_RUN_MAX_WORKERS
环境变量。您可以在 Python 内通过在定义 FlowSpec 之前设置此环境变量来进行设置:
# force MetaFlow to use only 1 concurrent task during a foreach fanout
os.environ.update({"METAFLOW_RUN_MAX_WORKERS": "1"})
来源:与@Savin 聊天