使用 SVM 在 R 中集成

Question

我正在尝试使用 R 中的 SVM 对一些数据进行分类。

数据集：

D1 | D2 | D3 | word1 | word2 |...
1  | 2  | 3  | 0     | 1     |
3  | 2  | 1  | 1     | 0     |

D1、D2、D3取值从0到9，每个字取0/1值。

首先，我想构建一个分类器，根据 word1、word2 等预测 D1。然后我想构建一个分类器，根据它在 D1 中预测的内容和单词来预测 D2。 D1、D2、D3曾经是一个3位的单数，和前一位有关系

到目前为止我有：

trainD1 <- train[,-1]
trainD1$D2 <- NULL
trainD1$D3 <- NULL

modelD1 <- svm( train$D1~., trainD1, type="C-classification")

但我完全迷路了，欢迎任何帮助。

谢谢

Answer 1

我相信您已经知道这一点，但我只是想确保涵盖我的基础——如果 D1 和 D2 可以预测 D3，那么使用 D1 和 D3 的实际值总是更好比他们的预测。

出于这个问题的目的，我假设 D1 和 D2 可能不存在于您的预测数据集中，因此这就是您必须预测它们的原因。从“词”变量直接预测D3可能还是更准确，但这不在本题范围内。

train <- read.csv("trainingSmallExtra.csv")

require(e1071)
d1 <- svm(  x = train[,5:100], # arbitrary subset of words
            y = train$D1,
            gamma = 0.1)

d1.predict <- predict(d1)
train      <- cbind(d1.predict, train)
x_names    <- c("d1.predict", train[,6:101])

d2 <- svm(  x = x_names,  # d1 prediction + arbitrary subset of words
            y = train$D2,
            gamma = 0.1)

d2.predict <- predict(d2)
train      <- cbind(d2.predict, train)

x_names <- c("d1.predict", "d2.predict", colnames(train)[25:150]) 
  
final <- svm(  x = train[,x_names], 
               y = train$D3,
               gamma = 0.1)

summary(final)

Call: svm.default(x = train[, x_names], y = train$D3, gamma = 0.1)

Parameters: SVM-Type: eps-regression SVM-Kernel: radial
   cost:  1 
  gamma:  0.1 
epsilon:  0.1 
Number of Support Vectors: 932

这只是为了向您展示这个过程。在您的代码中，您将希望使用更多的单词并设置您认为最合适的任何选项。

我建议使用 holdout 样本或交叉验证来进行基准测试。将集成模型与试图通过检查其性能基准直接从单词预测 D3 的单个模型进行比较。

使用 SVM 在 R 中集成

Ensemble in R using SVM

r

classification

machine-learning

svm

ensemble-learning