有条件地创建具有 data.table 增量的列

Question

我有一个包含大约 100 万条记录和 80 列的大型数据集。为了加快处理速度，我使用 data.table。我需要根据条件创建一个新列，但我不知道如何在 data.table

中执行此操作

下面是示例数据的代码：

set.seed(1200)
N_Blocks = 1348
cyc=200
City1 <- vector()
City2 <- vector()
a1 <- vector()
a2 <- vector()

for (a in 1:cyc) {
City1 <- sample(paste("City", formatC(a, width=nchar(cyc), flag="0"), sep=""),N_Blocks,rep=T)
a1 <- sample(0:1,N_Blocks,rep = T)

City2 <- append(City2,City1)
a2 <- append(a2,a1)
}

df1 <- data.frame(City2,a2)

现在的要求是，对于每个城市（目前我们在这个示例数据中有 200 个城市）和 a2 == 1，我需要创建一个新列，将 1 的总数除以 12 个月.因此，例如 City001 & a2 == 1，种子为 1200，我得到 671 条记录。所以新列 Months 需要有代码 01-12。因此，a2 == 1 的前 56 条记录的代码为 01，接下来的 56 条记录的代码为 02，依此类推......而 City001 的最后 55 条 a2 == 1 的记录的代码为 12（因此总计增加到 671）。就像在 12 个月内为每个城市拆分 a2 的选择。

我们可以通过命令-

获取选择的城市级别摘要

table(df1$City2,df1$a2)

我们可以使用 data.table 实现吗？

Answer 1

使用：

library(data.table)
setDT(df1)[a2 == 1, mon := cut(seq_along(a2), 12, sprintf('%02d',1:12)), by = City2][]

给出：

          City2 a2 mon
     1: City001  1  01
     2: City001  1  01
     3: City001  1  01
     4: City001  1  01
     5: City001  0  NA
    ---               
269596: City200  1  12
269597: City200  0  NA
269598: City200  1  12
269599: City200  1  12
269600: City200  1  12

这是做什么的：

使用 setDT(df1) 时，data.frame 被转换为 data.table（仍然是 data.frame）。
数据使用 a2 == 1 过滤并使用 by = City2 分组。
最后，通过引用为具有 cut 的选定行创建新列 mon。
对于City2列的每一组，cut划分一个序列（seq_along(a2)；这从1开始，以组大小结束，即671 对于第一组）分成 12 个（几乎）相等的部分。每个部分都有一个相应的标签 (sprintf('%02d',1:12))。有关详细信息，请参阅 ?cut。

上述方法的缺点是记录数最少的中断不在最后。总结一下结果可以看出：

> df1[a2 == 1, .N, by = .(City2,mon)][1:24]
      City2 mon  N
 1: City001  01 56
 2: City001  02 56
 3: City001  03 56
 4: City001  04 56
 5: City001  05 56
 6: City001  06 56
 7: City001  07 55
 8: City001  08 56
 9: City001  09 56
10: City001  10 56
11: City001  11 56
12: City001  12 56
13: City002  01 56
14: City002  02 55
15: City002  03 56
16: City002  04 55
17: City002  05 56
18: City002  06 55
19: City002  07 55
20: City002  08 56
21: City002  09 55
22: City002  10 56
23: City002  11 55
24: City002  12 56

要在末尾获取记录数较少的中断，您可以使用：

setDT(df1)[a2 == 1, mon := cut(seq_along(a2),
                               {n <- .N/12; 
                                br <- c(0, rep(ceiling(n), round((n-floor(n))*12)), rep(floor(n), round((floor(n) - n + 1)*12)));
                                unique(c(cumsum(br),.N))},
                               sprintf('%02d',1:12)),
           by = City2][]

第一个解决方案中的中断数 (12) 替换为断点向量，该向量在大括号 ({n <- .N/12 .... unique(c(cumsum(br),.N))}).这部分以这样一种方式计算中断，即观察次数不是随机分布在月份中，而是观察次数较少的月份总是在最后。

除了上面的解释外，大括号之间的部分还做了以下事情：

首先将每组中的观测数 (.N) 除以 12。通常这不是整数，而是小数点后的数值。
rep(ceiling(n), round((n-floor(n))*12)) 计算第一组 (ceiling(n)) 的较高观测值数，并重复一定次数，该次数由 n 的小数值和 round((n-floor(n))*12).
较小的组（breaks）的组大小由 rep(floor(n), round((floor(n) - n + 1)*12)) 决定，方法类似。 floor(n) 确定组的大小，而 round((floor(n) - n + 1)*12) 确定较低组大小所需的组数。
前两个向量以起始零 (c(0, rep ... )) 放在一起。
通过在其上使用 cumsum，您将获得一个以 0 开头的向量，在末尾添加 groupsize (.N)。通过将其包装在 unique 中，您可以确保获得唯一的中断值。这是必需的，因为当 n 是一个完全四舍五入的数字（例如 600/12 的结果）时，最后一个中断值在向量中出现两次。

相同的检查现在显示已实现：

> df1[a2 == 1, .N, by = .(City2,mon)][1:24]
      City2 mon  N
 1: City001  01 56
 2: City001  02 56
 3: City001  03 56
 4: City001  04 56
 5: City001  05 56
 6: City001  06 56
 7: City001  07 56
 8: City001  08 56
 9: City001  09 56
10: City001  10 56
11: City001  11 56
12: City001  12 55
13: City002  01 56
14: City002  02 56
15: City002  03 56
16: City002  04 56
17: City002  05 56
18: City002  06 56
19: City002  07 55
20: City002  08 55
21: City002  09 55
22: City002  10 55
23: City002  11 55
24: City002  12 55

有条件地创建具有 data.table 增量的列

Conditional creation of column with increment in data.table

conditional

r

increment

data.table