使用线性内核调整 SVM 时，R 插入符异常缓慢

在调整 SVM 参数时，我观察到一个非常奇怪的行为caret。当训练单个模型而不进行调整时，具有径向基核的 SVM 比具有线性核的 SVM 花费更多时间，这是预期的。然而，当在相同的惩罚网格上调整具有两个核的 SVM 时，具有线性核的 SVM 比具有径向基核的 SVM 花费更多的时间。使用 R 3.2 可以在 Windows 和 Linux 中轻松重现此行为caret6.0-47。有谁知道为什么调整线性 SVM 比径向基核 SVM 花费更多时间？

SVM linear
   user  system elapsed 
   0.51    0.00    0.52 

SVM radial
   user  system elapsed 
   0.85    0.00    0.84 

SVM linear tuning
   user  system elapsed 
 129.98    0.02  130.08 

SVM radial tuning
   user  system elapsed 
   2.44    0.05    2.48 

玩具示例代码如下：

library(data.table)
library(kernlab)
library(caret)

n <- 1000
p <- 10

dat <- data.table(y = as.factor(sample(c('p', 'n'), n, replace = T)))
dat[, (paste0('x', 1:p)) := lapply(1:p, function(x) rnorm(n, 0, 1))]
dat <- as.data.frame(dat)

sigmas <- sigest(as.matrix(dat[, -1]), na.action = na.omit, scaled = TRUE)
sigma  <- mean(as.vector(sigmas[-2]))

cat('\nSVM linear\n')
print(system.time(fit1 <- train(y ~ ., data = dat, method = 'svmLinear', tuneLength = 1,
                                 trControl = trainControl(method = 'cv', number = 3))))

cat('\nSVM radial\n')
print(system.time(fit2 <- train(y ~ ., data = dat, method = 'svmRadial', tuneLength = 1,
                                 trControl = trainControl(method = 'cv', number = 3))))

cat('\nSVM linear tuning\n')
print(system.time(fit3 <- train(y ~ ., data = dat, method = 'svmLinear',
                                 tuneGrid = expand.grid(C = 2 ^ seq(-5, 15, 5)),
                                 trControl = trainControl(method = 'cv', number = 3))))

cat('\nSVM radial tuning\n')
print(system.time(fit4 <- train(y ~ ., data = dat, method = 'svmRadial',
                                 tuneGrid = expand.grid(C = 2 ^ seq(-5, 15, 5), sigma = sigma),
                                 trControl = trainControl(method = 'cv', number = 3))))

看过之后我不相信问题出在caret，而是幕后发生的事情kernlab.
正如堆栈溢出其他地方所述SVM本身就是一个密集的算法。时间复杂度为SVM是 O(n*n)。现在这并没有考虑到之间的差异SVM来电。不过，似乎发生的事情是在通过一个非常深的堆栈调用编译后的 C 代码之后结束的SVM > .Local > .call. (.call是对已编译的 C 代码的调用，超出了我的知识库）。大多数时候，当你看到意想不到的缓慢时间从R to C这是因为事情是如何过去的。由于您拉入了矩阵，这进一步导致了命名或尺寸问题的假设，导致另一端发生一些额外的工作。
如果我们看看这段代码是如何分析的，瓶颈就会变得非常清楚。

对字体大小表示歉意——它是一个很深的堆栈，我认为整体形状比单个功能更能说明问题。请随意在下面发送垃圾邮件 Ctrl +。

nSVM_linear看起来健康的配置文件和许多友好的 R 功能。

同样的优惠nSVM radial

现在，一旦我们开始“径向调整”，我们就开始看到带有try-call堆栈开始倾斜，但一切似乎都在快速执行。

哇哦。完全不同的线性调谐结构C在某些情况下，呼叫耗时超过 100 秒。

话虽这么说，看来你的瓶颈在于编译的C代码来自kernlab。由于该包正在连接到libsvm这似乎非常有效，我无法想象被调用的代码存在实际问题。对于比我更好的人来说，实际识别从一个移动到另一个时如何（基于安全的功能或来自 R 的输入问题）以及为什么会发生问题是一项工作。