TPOT 训练时间太长
TPOT taking too long to train
我第一次尝试在大约有 7000 行的数据集上使用 tpot,当尝试在占整个数据集 25% 的训练数据集上训练 tpot 时,tpot 花费的时间太长。我在 google colab 上 运行 代码大约 45 分钟,优化进度仍为 4%。我一直在尝试使用在 :http://epistasislab.github.io/tpot/examples/ 上看到的示例。 tpot 需要这么长时间是典型的吗,因为到目前为止我认为它甚至不值得尝试使用它
TPOT 可能需要相当长的时间,具体取决于您拥有的数据集。您必须考虑 TPOT 正在做什么:TPOT 正在评估数以千计的分析管道并在后台对您的数据集拟合数以千计的 ML 模型,如果您有一个大型数据集,那么所有这些拟合可能需要很长时间——尤其是如果您 运行在功能较弱的计算机上安装它。
如果您想要更快的结果,您有以下几种选择:
使用 "TPOT light" configuration,它使用更简单的模型并且 运行 更快。
将 n_jobs
参数设置为 -1
或大于 1
的数字,这将允许 TPOT 并行评估管道。 -1
将使用所有可用的核心,如果您有一台多核机器,将显着加快速度。
使用 subsample
参数对数据进行二次采样。默认值为 1.0,对应于使用 100% 的训练数据。您可以二次采样以降低数据百分比,TPOT 将 运行 更快。
我第一次尝试在大约有 7000 行的数据集上使用 tpot,当尝试在占整个数据集 25% 的训练数据集上训练 tpot 时,tpot 花费的时间太长。我在 google colab 上 运行 代码大约 45 分钟,优化进度仍为 4%。我一直在尝试使用在 :http://epistasislab.github.io/tpot/examples/ 上看到的示例。 tpot 需要这么长时间是典型的吗,因为到目前为止我认为它甚至不值得尝试使用它
TPOT 可能需要相当长的时间,具体取决于您拥有的数据集。您必须考虑 TPOT 正在做什么:TPOT 正在评估数以千计的分析管道并在后台对您的数据集拟合数以千计的 ML 模型,如果您有一个大型数据集,那么所有这些拟合可能需要很长时间——尤其是如果您 运行在功能较弱的计算机上安装它。
如果您想要更快的结果,您有以下几种选择:
使用 "TPOT light" configuration,它使用更简单的模型并且 运行 更快。
将
n_jobs
参数设置为-1
或大于1
的数字,这将允许 TPOT 并行评估管道。-1
将使用所有可用的核心,如果您有一台多核机器,将显着加快速度。使用
subsample
参数对数据进行二次采样。默认值为 1.0,对应于使用 100% 的训练数据。您可以二次采样以降低数据百分比,TPOT 将 运行 更快。