选择超参数 - 网格搜索

Question

在此 example 中测试了逻辑回归模型的惩罚和正则化参数。我不明白如何选择这些参数。例如，为什么关注 (11,12) 或 (0,4)？这与我们拥有的数据有何关系？

Answer 1

网格搜索的目的是找到广义的最优参数。

For example why focus on (l1,l2) or (0,4)?

惩罚参数和正则化参数影响分类边界。所以要找到最好的分类是重点。

How does this relate to the data we have?

这些与我们掌握的数据没有直接关系。这个想法是，例如我们必须选择 'C'（正则化）参数，它给出训练集和验证集之间的最小差异。这样模型就应该简单并且可以在未来的数据上泛化。

一般情况下，参数范围的选择，并不是在之前迭代的基础上单次尝试，范围可以根据模型的表现进行拓宽。