Talos 超参数搜索：如何在评估步骤中设置指标

Question

我想了解 talos 中的超参数搜索。特别是模型的评估。我正在浏览这个示例笔记本 https://nbviewer.jupyter.org/github/autonomio/talos/blob/master/examples/Hyperparameter%20Optimization%20with%20Keras%20for%20the%20Iris%20Prediction.ipynb#seven

不是，我的问题是：在评估（7）中，如何设置具体的评估指标？例如。分类问题的 F1 分数。它们来自 Keras 还是 talos？如果不传递参数，默认值是多少？我在 talos 文档中找不到它。我是不是忽略了什么？https://autonomio.github.io/docs_talos/#evaluate

Answer 1

Talos 中的评估使用 f1-score 和用于二进制分类的二进制平均值，multi_label 和 multi_class 的宏观平均值，以及用于回归的 MAE。这些来自sklearn。

metric 参数指的是您已经在 Scan() 实验中使用的任何指标，用于首先选择最佳 model/s 进行评估。您可以像使用 Keras 模型一样在 Scan() 中使用任何 Keras 或自定义指标。