R插入符（svmRadial）保持sigma不变并使用网格搜索C

Question

我正在用 caret 实现带有径向基函数核 ('svmRadial') 的支持向量机。据我对文档和源代码的理解，caret 使用分析公式来合理估计 sigma 并将其固定为该值（根据输出：调整参数 'sigma' 保持不变值为 0.1028894）。此外，caret 对一组成本参数 C（默认值 = 3）进行交叉验证。

但是，如果我现在想设置自己的成本参数网格 (tuneGrid)，我必须另外指定一个 sigma 值。否则会出现以下错误：

Error: The tuning parameter grid should have columns sigma, C

如何根据分析公式修正 Sigma 并仍然实现我自己的成本参数 C 网格？

这是一个 MWE：

library(caret)
library(mlbench)

data(BostonHousing)

set.seed(1)
index <- sample(nrow(BostonHousing),nrow(BostonHousing)*0.75)
Boston.train <- BostonHousing[index,]
Boston.test <- BostonHousing[-index,]

# without tuneGrid
set.seed(1)
svmR <- train(medv ~ .,
              data = Boston.train,
              method = "svmRadial",
              preProcess = c("center", "scale"),
              trControl = trainControl(method = "cv", number = 5))

# with tuneGrid (gives the error message)
set.seed(1)
svmR <- train(medv ~ .,
              data = Boston.train,
              method = "svmRadial",
              preProcess = c("center", "scale"),
              tuneGrid = expand.grid(C = c(0.01, 0.1)),
              trControl = trainControl(method = "cv", number = 5))

Answer 1

如果您查看模型信息，它显示了如果您不提供网格是如何生成的：

getModelInfo("svmRadial")$svmRadial$grid

function(x, y, len = NULL, search = "grid") {
                    sigmas <- kernlab::sigest(as.matrix(x), na.action = na.omit, scaled = TRUE)
                    if(search == "grid") {
                      out <- expand.grid(sigma = mean(as.vector(sigmas[-2])),
                                         C = 2 ^((1:len) - 3))
                    } else {
                      rng <- extendrange(log(sigmas), f = .75)
                      out <- data.frame(sigma = exp(runif(len, min = rng[1], max = rng[2])),
                                        C = 2^runif(len, min = -5, max = 10))
                    }
                    out
                  }

所以得到的方法是用kernlab::sigest估计sigma，首先我们把svmRadial的grid方法拉出来：

models <- getModelInfo("svmRadial", regex = FALSE)[[1]]

设置输入 x 和 y，因为您提供的是公式：

preProcValues = preProcess(Boston.train, method = c("center", "scale")) 
processData = predict(preProcValues,Boston.train)
x = model.matrix(medv ~ .,data=processData)[,-1]
y = processData$medv

并且我们为这个模型使用了网格函数，您可以看到它与您的输出相同：

set.seed(1)
models$grid(x,y,3)

      sigma    C
1 0.1028894 0.25
2 0.1028894 0.50
3 0.1028894 1.00

svmR$results
      sigma    C     RMSE  Rsquared      MAE    RMSESD RsquaredSD     MAESD
1 0.1028894 0.25 5.112750 0.7591398 2.982241 0.8569208 0.05387213 0.4032354
2 0.1028894 0.50 4.498887 0.8046234 2.594059 0.7823051 0.05357678 0.3644430
3 0.1028894 1.00 4.055564 0.8349416 2.402248 0.8403222 0.06825159 0.3732571

这就是下面发生的事情：

set.seed(1)
sigmas = kernlab::sigest(as.matrix(x), na.action = na.omit, scaled = TRUE)
# from the code, you can see it takes the mean of the two extreme quantiles

mean(sigmas[-2])
[1] 0.1028894

R插入符（svmRadial）保持sigma不变并使用网格搜索C

R caret (svmRadial) keep sigma constant and use grid search for C

r

machine-learning

svm

r-caret

hyperparameters