使用 H20 AI 时从排行榜功能获取准确度指标

Question

我是运行使用 H2O autoML 的二元分类模型。我已经明确告诉 autoML 使用以下代码行将其视为分类模型。

# This line of code turns our int variable into a factor.
# This is necessary to tell H2O that we want a classification model
feature_data['Radius'] = feature_data['Radius'].asfactor()

在运行 H20 autoML 一分钟之后，然后使用以下代码行；

lb = aml.leaderboard
lb.head()
lb.head(rows=lb.nrows) # Entire leaderboard

我在下面的屏幕截图中得到了输出

如您所见，用于分类的指标是 AUC 和 logloss，但我想看到的是准确性。我应该添加什么以获得这样的输出？

Answer 1

排行榜似乎不允许您使用准确度作为衡量标准进行排序。以下代码和文本行直接取自 documentation:

aml = H2OAutoML(max_runtime_secs = 30, sort_metric = "logloss")

For binomial classification choose between AUC, "logloss", "mean_per_class_error", "RMSE", "MSE".

Answer 2

您可以在构建 h2o aml 模型时简单地将 "accuracy" 指定为排序指标，例如：

aml = H2OAutoML(max_runtime_secs = 30, sort_metric = "accuracy")

它将根据准确率从上到下按升序发布模型。

使用 H20 AI 时从排行榜功能获取准确度指标

Get accuracy metric from leaderboard function when using H20 AI

python

machine-learning

h2o

automl

h2o.ai