SVM - 是否存在可以指示最佳参数的数据属性(例如 C、伽玛)

SVM - Are there properties of the data that can indicate best parameters (e.g. C, gamma)

使用交叉验证来确定最佳参数似乎很标准。当然,这通常是一个耗时的过程。有捷径吗?是否有其他更快的探索性分析形式可以提供有关哪些值最好的提示?

例如,以我目前对机器学习和 SVM 的理解,我可能会做一些事情,比如在 [10e-5, 10e5] 范围内以 C 的指数 10 执行初始网格搜索,然后微调从那里。但是有没有一种方法可以快速估计最佳 C 在 10e3 和 10e5 之间,然后执行更具体的搜索?

这个问题可能适用于大多数 ML 技术,但我现在正好在使用 SVM。

是的,这是一个活跃的研究领域!除了我们都知道和(也许?)喜欢的标准网格搜索之外,还有很多不同的超参数调整方法。

与您所描述的最相似的领域是解决该问题的各种贝叶斯/高斯过程方法。这个 github repo 有一个实现和一些关于它如何工作的信息图片 https://github.com/fmfn/BayesianOptimization 。这种方法的工作原理是将参数优化问题视为另一个机器学习问题,其中我们具有每个超参数的特征,并尝试预测各种参数组合的性能。

这是对流程的高级描述,您可以阅读 repo 中的链接 papers/notebooks 了解更多详细信息。