SVM 对噪声有弹性吗
Is SVM resilient to noise
我有一个由 36 个特征组成的转换集。当我使用 Matlab 计算 PCA 的 "explained" 值时。我注意到只有前 24 个组件很重要。
我的问题是，如果我省略组件（其他 12 个组件）的重置，我是否会获得更好的准确性（预测）。或者 SVM 对噪声非常有弹性，这意味着无论我是否删除了其他 12 个组件。性能不会有太大变化。
没有统一的答案，不可能永远说"what will happen to method X if I preprocess with Y"。但是，总的来说：
- 使用启发式方法进行预处理是个坏主意（PCA 只是一种启发式方法，从监督学习的角度来看没有理由使用它）- 当 "pure" 方法失败时考虑它们，而不是 在它失败之前
- PCA 将维度识别为不太重要的事实并不意味着这些是噪声
- SVM 处理噪声的能力取决于噪声强度和使用的核，对于线性或多项式噪声等高偏差核应该不是问题，对于像 RBF 这样的低偏差 - 它会影响分类，但是再次 - 真实噪音，您的描述不符合真实噪音的定义。
我有一个由 36 个特征组成的转换集。当我使用 Matlab 计算 PCA 的 "explained" 值时。我注意到只有前 24 个组件很重要。
我的问题是，如果我省略组件（其他 12 个组件）的重置，我是否会获得更好的准确性（预测）。或者 SVM 对噪声非常有弹性，这意味着无论我是否删除了其他 12 个组件。性能不会有太大变化。
没有统一的答案，不可能永远说"what will happen to method X if I preprocess with Y"。但是，总的来说：
- 使用启发式方法进行预处理是个坏主意（PCA 只是一种启发式方法，从监督学习的角度来看没有理由使用它）- 当 "pure" 方法失败时考虑它们，而不是 在它失败之前
- PCA 将维度识别为不太重要的事实并不意味着这些是噪声
- SVM 处理噪声的能力取决于噪声强度和使用的核，对于线性或多项式噪声等高偏差核应该不是问题，对于像 RBF 这样的低偏差 - 它会影响分类，但是再次 - 真实噪音，您的描述不符合真实噪音的定义。