运行 joblib.Parallel(mlxtend) 在 cloud-ml 中无法扩展
running joblib.Parallel(mlxtend) does not scale in cloud-ml
我正在 运行 使用 mlxtend 库进行作业。特别是使用 joblib.Parallel source 并行化的 sequential_feature_selector。当我 运行 本地计算机上的程序包使用所有可用的 CPU 时，但是当我将作业发送到 cloud-ml 时它只使用一个内核。我在 n_jobs 参数中输入的数字是多少并不重要。我也尝试过不同的机器类型，但同样的事情发生了。
有谁知道问题可能是什么？
对于可能感兴趣的任何人，我们解决了将 setup.py 中的 sklearn 版本修复到 0.20.2 的问题。我们之前的包中有 sklearn，但没有版本。
#setup.py
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['joblib==0.13.0',
'scikit-learn==0.20.2',
'mlxtend']
我正在 运行 使用 mlxtend 库进行作业。特别是使用 joblib.Parallel source 并行化的 sequential_feature_selector。当我 运行 本地计算机上的程序包使用所有可用的 CPU 时，但是当我将作业发送到 cloud-ml 时它只使用一个内核。我在 n_jobs 参数中输入的数字是多少并不重要。我也尝试过不同的机器类型，但同样的事情发生了。
有谁知道问题可能是什么？
对于可能感兴趣的任何人，我们解决了将 setup.py 中的 sklearn 版本修复到 0.20.2 的问题。我们之前的包中有 sklearn，但没有版本。
#setup.py
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['joblib==0.13.0',
'scikit-learn==0.20.2',
'mlxtend']