一对多 SVM 中的 10 倍交叉验证（使用 LibSVM）

我想在我的系统中进行 10 倍交叉验证一对一 支持向量机 http://en.wikipedia.org/wiki/Support_vector_machineMATLAB 中的分类。

我试图以某种方式混合这两个相关的答案：

• libsvm 中的多类分类 https://stackoverflow.com/a/9049808/1071703
• MATLAB 中 10 重 SVM 分类的示例 https://stackoverflow.com/a/3071938/1071703

但由于我对 MATLAB 及其语法还很陌生，所以直到现在我才设法让它工作。

另一方面，我在LibSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/自述文件，我在那里找不到任何相关示例：

选项-v将数据随机分成n部分并计算cross 验证准确性/均方误差。

有关输出的含义，请参阅 libsvm FAQ。

谁能给我提供一个 10 倍交叉验证和一对多分类的例子吗？

我们这样做主要有两个原因交叉验证 http://en.wikipedia.org/wiki/Cross-validation_%28statistics%29:

• 作为一种测试方法，它可以让我们对模型的泛化能力进行近乎无偏的估计（通过避免过度拟合）
• 作为一种方式选型 http://en.wikipedia.org/wiki/Model_selection（例如：找到最好的C and gamma训练数据上的参数，请参见这个帖子 https://stackoverflow.com/a/9049225/97160举个例子）

对于我们感兴趣的第一个案例，该过程涉及培训k每个折叠的模型，然后在整个训练集上训练一个最终模型。 我们报告了 k 倍的平均准确度。

现在，由于我们使用一对一的方法来处理多类问题，因此每个模型都包含N支持向量机（每一类一个）。

以下是实现一对一方法的包装函数：

function mdl = libsvmtrain_ova(y, X, opts)
    if nargin < 3, opts = ''; end

    %# classes
    labels = unique(y);
    numLabels = numel(labels);

    %# train one-against-all models
    models = cell(numLabels,1);
    for k=1:numLabels
        models{k} = libsvmtrain(double(y==labels(k)), X, strcat(opts,' -b 1 -q'));
    end
    mdl = struct('models',{models}, 'labels',labels);
end

function [pred,acc,prob] = libsvmpredict_ova(y, X, mdl)
    %# classes
    labels = mdl.labels;
    numLabels = numel(labels);

    %# get probability estimates of test instances using each 1-vs-all model
    prob = zeros(size(X,1), numLabels);
    for k=1:numLabels
        [~,~,p] = libsvmpredict(double(y==labels(k)), X, mdl.models{k}, '-b 1 -q');
        prob(:,k) = p(:, mdl.models{k}.Label==1);
    end

    %# predict the class with the highest probability
    [~,pred] = max(prob, [], 2);
    %# compute classification accuracy
    acc = mean(pred == y);
end

以下是支持交叉验证的函数：

function acc = libsvmcrossval_ova(y, X, opts, nfold, indices)
    if nargin < 3, opts = ''; end
    if nargin < 4, nfold = 10; end
    if nargin < 5, indices = crossvalidation(y, nfold); end

    %# N-fold cross-validation testing
    acc = zeros(nfold,1);
    for i=1:nfold
        testIdx = (indices == i); trainIdx = ~testIdx;
        mdl = libsvmtrain_ova(y(trainIdx), X(trainIdx,:), opts);
        [~,acc(i)] = libsvmpredict_ova(y(testIdx), X(testIdx,:), mdl);
    end
    acc = mean(acc);    %# average accuracy
end

function indices = crossvalidation(y, nfold)
    %# stratified n-fold cros-validation
    %#indices = crossvalind('Kfold', y, nfold);  %# Bioinformatics toolbox
    cv = cvpartition(y, 'kfold',nfold);          %# Statistics toolbox
    indices = zeros(size(y));
    for i=1:nfold
        indices(cv.test(i)) = i;
    end
end

最后用一个简单的demo来说明使用方法：

%# laod dataset
S = load('fisheriris');
data = zscore(S.meas);
labels = grp2idx(S.species);

%# cross-validate using one-vs-all approach
opts = '-s 0 -t 2 -c 1 -g 0.25';    %# libsvm training options
nfold = 10;
acc = libsvmcrossval_ova(labels, data, opts, nfold);
fprintf('Cross Validation Accuracy = %.4f%%\n', 100*mean(acc));

%# compute final model over the entire dataset
mdl = libsvmtrain_ova(labels, data, opts);

将其与 libsvm 默认使用的一对一方法进行比较：

acc = libsvmtrain(labels, data, sprintf('%s -v %d -q',opts,nfold));
model = libsvmtrain(labels, data, strcat(opts,' -q'));