如何通过替换 "for-loop" 和 "if-else" 子句来提高大型数据集的性能

Question

亲爱的 Whosebug 社区，

我在一个特定的数据集上静坐了一段时间，该数据集相当庞大（nrow= ca. 5 亿）。经过一系列的数据操作，基本上数据集包括以下重要列："ParticleId"、"flag"、"Volume" 和 "reduction".

ParticleId 是唯一的，表示一个移动的粒子随时间移动 space。
标志指示粒子是否在特定区域内 (YES/NO)
每个 ParticleId 都有一个先验体积（注入时），如果粒子在该特定区域内部或外部，则该体积取决于时间
如果粒子在特定区域内，则先前的体积必须减少相应的减少值

我写了一个带有 2 个 if-else 子句的 for 循环来减少每一行的数量。该循环经过测试并且可以完美地用于测试目的，最多 20k 行的子集。不幸的是，当应用于孔数据集（500mio.rows）时，性能呈指数下降。我尝试应用多种矢量化方法，但似乎遗漏了一些东西。非常感谢您对矢量化此特定问题的帮助和想法。

请在下面找到 for 循环和测试数据集：

dataset <- data.frame(1:20)
dataset$ParticleId        <- c(1,1,1,1,2,2,2,2,2,3,3,4,4,4,4,4,4,4,4,4)
dataset$flag      <- c(T,T,T,F,T,T,F,F,T,T,T,T,T,T,F,F,F,F,T,T)
dataset$Volume    <- 0.01
dataset$reduction <- c(1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03)

for(i in 2:nrow(dataset)){
  if(dataset[i,]$flag == TRUE & dataset[i,]$ParticleId == dataset[i-1,]$ParticleId){
    dataset[i,]$Volume <- dataset[i-1,]$Volume - dataset[i-1,]$reduction
  }else{
    if(dataset[i,]$flag == FALSE & dataset[i,]$ParticleId == dataset[i-1,]$ParticleId){
      dataset[i,]$Volume <- dataset[i-1,]$Volume
    }else{
      dataset[i,]$Volume <- dataset[i,]$Volume
    }
   }
 }

如果需要，我可以提供更大的原始数据子集。测试数据集的创建只是提供了数据可能是什么样子的想法...

Answer 1

这会产生您想要的输出，并且应该比您使用 for 循环和 if .. else .. 语句的初始方法快很多：

library(dplyr)
dataset %>% 
  group_by(ParticleId) %>% 
  mutate(Volume = Volume[1L] - cumsum(lag(reduction, default = 0L)*flag))

#Source: local data frame [20 x 5]
#Groups: ParticleId
#
#   X1.20 ParticleId  flag     Volume reduction
#1      1          1  TRUE 0.01000000  1.21e-03
#2      2          1  TRUE 0.00879000  1.21e-04
#3      3          1  TRUE 0.00866900  1.21e-03
#4      4          1 FALSE 0.00866900  1.21e-06
#5      5          2  TRUE 0.01000000  1.21e-03
#6      6          2  TRUE 0.00879000  1.21e-03
#7      7          2 FALSE 0.00879000  1.21e-04
#8      8          2 FALSE 0.00879000  1.21e-03
#9      9          2  TRUE 0.00758000  1.21e-06
#10    10          3  TRUE 0.01000000  1.21e-03
#11    11          3  TRUE 0.00879000  1.21e-03
#12    12          4  TRUE 0.01000000  1.21e-04
#13    13          4  TRUE 0.00987900  1.21e-03
#14    14          4  TRUE 0.00866900  1.21e-06
#15    15          4 FALSE 0.00866900  1.21e-03
#16    16          4 FALSE 0.00866900  1.21e-03
#17    17          4 FALSE 0.00866900  1.21e-04
#18    18          4 FALSE 0.00866900  1.21e-03
#19    19          4  TRUE 0.00745900  1.21e-06
#20    20          4  TRUE 0.00745779  1.21e-03

这是做什么的：

取数据"dataset"
将数据按ParticleId分组（然后对每组进行以下操作）
mutate 用于 modify/add 列的数据。在这种情况下，我们修改现有列 "Volume"。我们取每组中 Volume 的第一个元素 (Volume[1L])，然后从该值中减去 reduction*flag 的累积和。因为我们将 reduction 与 flag 相乘，这是一个逻辑列，所以只要 flag 是 TRUE 就乘以 1，只要 flag 就乘以 0是 FALSE。这意味着，如果 flag 是 FALSE，我们从 Volume 列中减去 0（无）（即它保持原样）。此外，我们使用 lag(Volume, default = 0) 是因为我们想在每一行中减去前一（滞后）行中存在的 reduction 值。 default = 0 确保，如果组中没有前一行，即我们在组的第一行上操作，则先前的减少值假定为 0 - 因此，我们不减去任何东西从第一行开始 Volume values.
如果您想知道为什么我在数字后使用 L（如 default = 0L）：它用于表示 integer-使用较少内存的值，因此有助于加快代码速度一点点，因为您正在处理大量数据。

我在 data.table 中尝试使用相同的代码（可能会更快一点）：

library(data.table)
setkey(setDT(dataset), ParticleId)[,
      Volume:=Volume[1L]-cumsum(c(0L, head(reduction, -1L))*flag), ParticleId]

我认为在最新版本的 data.table (1.9.5) 中，您可以使用 shift 来创建滞后缩减。

该方法与此处的 dplyr 解决方案基本相同。但在我们开始之前，我们使用 setDT() 将 data.frame 转换为 data.table 对象并使用 setkey() 设置键。其余部分非常相似，除了 data.table 通过引用更新数据（当使用 := 时）并且我们使用 c(0, head(reduction, -1)) 而不是 lag(..., default = 0)。

如何通过替换 "for-loop" 和 "if-else" 子句来提高大型数据集的性能

How to improve performance for huge datasets by substitute a "for-loop" and "if-else" clauses

performance

for-loop

if-statement

r

apply