Gridsearchcv 与贝叶斯优化
Gridsearchcv vs Bayesian optimization
Gridsearchcv 和贝叶斯优化哪个更适合优化超参数？
这里没有更好的，它们是不同的方法。
在Grid Search中你尝试了一些范围内所有可能的超参数组合。
在 Bayesian 中，您不会尝试所有组合，而是在尝试时沿着 space 超参数学习进行搜索。这样可以避免尝试所有组合。
所以 Grid Search 的优点是你很详尽， Bayesian 的优点是你不需要，基本上如果你可以在计算能力方面去 Grid Search 但如果要搜索的 space 太大，请搜索 Bayesian。
已知网格搜索在优化超参数 [1] 方面比随机搜索更糟糕，无论是在理论上还是在实践中。除非您只优化一个参数，否则切勿使用网格搜索。
另一方面，贝叶斯优化被认为在各种问题上优于随机搜索，也用于优化超参数 [2]。然而，这并没有考虑几件事：使用这些超参数的模型的泛化能力，与更简单的随机搜索相比使用贝叶斯优化的努力，以及并行使用随机搜索的可能性。
所以总而言之，我的建议是：永远不要使用网格搜索，如果您只想尝试几个超参数并且可以并行尝试它们（或者如果您希望超参数泛化到不同的问题），请使用随机搜索，如果你想要最好的结果并愿意使用更高级的方法，请使用贝叶斯优化。
[1] 随机搜索超参数优化，Bergstra & Bengio 2012。
[2] 贝叶斯优化优于机器学习超参数调整的随机搜索：2020 年黑盒优化挑战分析，特纳等人。 2021.
Gridsearchcv 和贝叶斯优化哪个更适合优化超参数？
这里没有更好的，它们是不同的方法。
在Grid Search中你尝试了一些范围内所有可能的超参数组合。
在 Bayesian 中，您不会尝试所有组合，而是在尝试时沿着 space 超参数学习进行搜索。这样可以避免尝试所有组合。
所以 Grid Search 的优点是你很详尽， Bayesian 的优点是你不需要，基本上如果你可以在计算能力方面去 Grid Search 但如果要搜索的 space 太大，请搜索 Bayesian。
已知网格搜索在优化超参数 [1] 方面比随机搜索更糟糕，无论是在理论上还是在实践中。除非您只优化一个参数，否则切勿使用网格搜索。 另一方面，贝叶斯优化被认为在各种问题上优于随机搜索，也用于优化超参数 [2]。然而，这并没有考虑几件事：使用这些超参数的模型的泛化能力，与更简单的随机搜索相比使用贝叶斯优化的努力，以及并行使用随机搜索的可能性。
所以总而言之，我的建议是：永远不要使用网格搜索，如果您只想尝试几个超参数并且可以并行尝试它们（或者如果您希望超参数泛化到不同的问题），请使用随机搜索，如果你想要最好的结果并愿意使用更高级的方法，请使用贝叶斯优化。
[1] 随机搜索超参数优化，Bergstra & Bengio 2012。
[2] 贝叶斯优化优于机器学习超参数调整的随机搜索：2020 年黑盒优化挑战分析，特纳等人。 2021.