如何使用 R 有效地将每一行拆分为测试和训练子集？

Question

我有一个数据 table 提供给定向量的长度和组成例如：

set.seed(1)

dt = data.table(length = c(100, 150),
                n_A = c(30, 30), 
                n_B = c(20, 100), 
                n_C = c(50, 20))

我需要将每个向量随机分成两个子集，分别具有 80% 和 20% 的观察值。我目前可以使用 for 循环执行此操作。例如：

dt_80_list <- list() # create output lists
dt_20_list <- list()

for (i in 1:nrow(dt)){ # for each row in the data.table
  
  sample_vec <- sample( c(   rep("A", dt$n_A[i]), # create a randomised vector with the given nnumber of each component. 
                             rep("B", dt$n_B[i]),
                             rep("C", dt$n_C[i]) ) )
  
  sample_vec_80 <- sample_vec[1:floor(length(sample_vec)*0.8)] # subset 80% of the vector
  
  dt_80_list[[i]] <- data.table(   length = length(sample_vec_80), # count the number of each component in the subset and output to list
                         n_A = length(sample_vec_80[which(sample_vec_80 == "A")]),
                         n_B = length(sample_vec_80[which(sample_vec_80 == "B")]),
                         n_C = length(sample_vec_80[which(sample_vec_80 == "C")])
  )
  
  dt_20_list[[i]] <- data.table(   length = dt$length[i] - dt_80_list[[i]]$length, # subtract the number of each component in the 80% to identify the number in the 20%
                         n_A = dt$n_A[i] - dt_80_list[[i]]$n_A,
                         n_B = dt$n_B[i] - dt_80_list[[i]]$n_B,
                         n_C = dt$n_C[i] - dt_80_list[[i]]$n_C
  )
}
dt_80 <- do.call("rbind", dt_80_list) # collapse lists to output data.tables
dt_20 <- do.call("rbind", dt_20_list)

但是，我需要应用它的数据集非常大，而且速度太慢。有人对我如何提高性能有什么建议吗？

谢谢。

Answer 1

（我假设您的数据集包含更多行（但只有几列）。）

这是我想出的一个版本，主要有三个变化

用.N和by=计算每一行绘制的“A”、“B”、“C”的个数
使用 sample
加入原来的dt和dt_80计算dt_20不带for-loop

## draw training data
dt_80 <- dcast(
      dt[,row:=1:nrow(dt)
       ][, .(draw=sample(c(rep("A80",n_A),
                           rep("B80",n_B),
                           rep("C80",n_C)),
                         size=.8*length)  )
         , by=row
       ][,.N,
         by=.(row,draw)],
  row~draw,value.var="N")[,length80:=A80+B80+C80]

## draw test data
dt_20 <- dt[dt_80,
            .(A20=n_A-A80,
              B20=n_B-B80,
              C20=n_C-C80),on="row"][,length20:=A20+B20+C20]

可能还有优化的空间，但我希望它已经有所帮助:)

编辑

这里我添加我最初的第一个想法，我没有 post 因为上面的代码要快得多。但是这个可能更多 memory-efficient 这对你的情况来说似乎很重要。因此，即使您已经有了可行的解决方案，也可能会对它感兴趣...

library(data.table)
library(Rfast)

## add row numbers
dt[,row:=1:nrow(dt)]

## sampling function
sampfunc <- function(n_A,n_B,n_C){ 
  draw <- sample(c(rep("A80",n_A),
                   rep("B80",n_B),
                   rep("C80",n_C)),
                 size=.8*(n_A+n_B+n_C))
  out <- Rfast::Table(draw)
  return(as.list(out))
}

## draw training data
dt_80 <- dt[,sampfunc(n_A,n_B,n_C),by=row]

如何使用 R 有效地将每一行拆分为测试和训练子集？

How to efficiently split each row into test and train subsets using R?

performance

r

training-data

data.table