H2O Python: 提取在验证数据集上具有最高 AUC 的网格搜索模型

Question

我正在使用 H2O Python API 使用网格搜索构建随机森林模型。我在训练和验证中拆分数据，并使用 k 倍交叉验证 select 网格搜索中的最佳模型。

我能够检索在训练集上具有最佳 MSE 的模型，但我想检索在验证集上具有最高 AUC 的模型。

我可以在 Python 中编写所有代码，但我想知道是否有 H2O 方法可以解决这个问题。对我如何做到这一点有什么建议吗？

Answer 1

如果 g 是您的网格对象，那么：

g.sort_by('auc', False);

会给你AUC订购的型号。 False 的第二个参数意味着最高的 AUC 将排在第一位。它 returns 一个 H2OTwoDimTable 对象，所以你可以 select 第一个模型（根据 AUC 的最佳模型）。

我认为应该根据验证集而不是训练集的分数进行排序。但是，您可以使用以下方式明确指定它：

g.sort_by('auc(valid=True)', False);

H2O Python: Extract grid search model that with highest AUC on validation data set