清晰可分数据的机会水平准确性

Question

我写了一个我认为非常简单的 SVM 分类器 [SVM = 支持向量机]。 "Testing" 使用具有不同参数的正态分布数据，分类器返回 50% 的准确率。怎么了？

这是代码，结果应该是可重现的：

features1 = normrnd(1,5,[100,5]);
features2 = normrnd(50,5,[100,5]);
features = [features1;features2];
labels = [zeros(100,1);ones(100,1)];

%% SVM-Classification
nrFolds = 10; %number of folds of crossvalidation
kernel = 'linear'; % 'linear', 'rbf' or 'polynomial'
C = 1; % C is the 'boxconstraint' parameter. 

cvFolds = crossvalind('Kfold', labels, nrFolds);


for i = 1:nrFolds                            % iterate through each fold
    testIdx = (cvFolds == i);                % indices test instances
    trainIdx = ~testIdx;                     % indices training instances

    % train the SVM
    cl = fitcsvm(features(trainIdx,:), labels(trainIdx),'KernelFunction',kernel,'Standardize',true,...
    'BoxConstraint',C,'ClassNames',[0,1]);

    [label,scores] =  predict(cl, features(testIdx,:));
    eq = sum(labels(testIdx));
    accuracy(i) = eq/numel(labels(testIdx));

end

crossValAcc = mean(accuracy)

Answer 1

您没有正确计算准确度。您需要确定有多少预测与原始数据匹配。你只是简单地总结了测试集中 1 的总数，而不是正确预测的实际数量。

因此，您必须将 eq 声明更改为：

eq = sum(labels(testIdx) == label);

回想一下，labels(testIdx) 从您的测试集中提取真实标签，label 是您的 SVM 模型的预测结果。这正确地生成了 0/1 的向量，其中 0 表示预测与测试集中的实际标签不匹配，而 1 表示它们一致。每次他们同意时求和，或者每次向量是 1 是计算准确度的方法。

清晰可分数据的机会水平准确性

Chance level accuracy for clearly separable data

optimization

matlab

machine-learning

svm