如何使用 Iguazio 设置 Dask 自动缩放?

How do I set Dask autoscaling using Iguazio?

我需要在 Iguazio 中创建一个新的 Dask 集群。我想利用此处描述的 Dask 的自动缩放功能:https://docs.dask.org/en/stable/how-to/adaptive.html

Iguazio 是否支持 Dask 集群自动缩放,如果支持,我该如何启用?

在Iguazio中,当你创建一个Dask集群时,你不需要担心lower-level dask_kubernetes相关的东西。 您只需要指定最小和最大工人数,如下所示

# create an mlrun function which will init the dask cluster
dask_cluster_name = "dask-cluster"
dask_cluster = mlrun.new_function(dask_cluster_name, kind='dask', image='mlrun/ml-models')
dask_cluster.apply(mlrun.mount_v3io())

# set range for # of replicas with replicas and max_replicas
dask_cluster.spec.min_replicas = 1
dask_cluster.spec.max_replicas = 100

根据您的工作负载,集群将在最小和最大工作器数量之间扩大和缩小。我们融入了 Dask 集群的自适应部署,因此它可以带来更快的分析,为用户提供更多的功能,同时对计算资源的压力要小得多。