支持向量机过度拟合我的数据

Question

我正在尝试对鸢尾花数据集进行预测。为此，我决定使用 svms。但是，它给了我 1.0 的准确度。这是过度拟合的情况还是因为模型非常好？这是我的代码。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
svm_model = svm.SVC(kernel='linear', C=1,gamma='auto')
svm_model.fit(X_train,y_train)
predictions = svm_model.predict(X_test)
accuracy_score(predictions, y_test)

这里，accuracy_score returns值为1，请帮帮我。我是机器学习的初学者。

Answer 1

你可以试试cross validation:

示例：

from sklearn.model_selection import LeaveOneOut
from sklearn import datasets
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

#load iris data
iris = datasets.load_iris()
X = iris.data
Y = iris.target

#build the model
svm_model = SVC( kernel ='linear', C = 1, gamma = 'auto',random_state = 0 )

#create the Cross validation object
loo = LeaveOneOut()

#calculate cross validated (leave one out) accuracy score
scores = cross_val_score(svm_model, X,Y, cv = loo, scoring='accuracy')

print( scores.mean() )

结果（使用留一法后 150 次的平均准确率）：

0.97999999999999998

底线：

交叉验证（尤其是 LeaveOneOut）是避免过度拟合和获得可靠结果的好方法。

Answer 2

鸢尾花数据集并不是特别难从哪里得到好的结果。但是，您不信任 100% 的分类准确度模型是对的。在您的示例中，问题在于 30 个测试点都正确分类。但这并不意味着您的模型能够很好地概括所有新数据实例。只需尝试将 test_size 更改为 0.3，结果就不再是 100%（下降到 97.78%）。

保证稳健性和避免过度拟合的最佳方法是使用交叉验证。关于如何从您的示例中轻松执行此操作的示例：

from sklearn import datasets
from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score


iris = datasets.load_iris()
X = iris.data[:, :4]  
y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

svm_model = svm.SVC(kernel='linear', C=1, gamma='auto')
scores = cross_val_score(svm_model, iris.data, iris.target, cv=10) #10 fold cross validation

这里 cross_val_score 使用数据集的不同部分作为迭代测试数据（交叉验证），同时保留所有以前的参数。如果您检查 score，您会看到现在计算的 10 个准确度在 87.87% 到 100% 之间。例如，要报告最终模型性能，您可以使用得分值的平均值。

希望这对您有所帮助，祝您好运！ :)

支持向量机过度拟合我的数据

Support vector machine overfitting my data

python

svm

python-3.x

scikit-learn

ipython-notebook