如何翻译 data.table 代码崩溃
How to translate data.table code to collapse
我最近阅读了有关 collapse 软件包的信息,并尝试将以下 data.table
代码转换为 collapse
以查看它在实际示例中是否更快。
这是我的 data.table
代码:
library(data.table)
library(nycflights13)
data("flights")
flights_DT <- as.data.table(flights)
val_var <- "arr_delay"
id_var <- "carrier"
by <- c("month", "day")
flights_DT[
j = list(agg_val_var = sum(abs(get(val_var)), na.rm = TRUE)),
keyby = c(id_var, by)
][
i = order(-agg_val_var),
j = list(value_share = cumsum(agg_val_var)/sum(agg_val_var)),
keyby = by
][
j = .SD[2L],
keyby = by
][
order(-value_share)
]
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v1.0.0)
于 2021 年 3 月 11 日创建
我设法翻译了第一个 data.table
电话,但后来遇到了困难。
很高兴看到如何使用 collapse
来处理这个用例。
因此,关于这一点,我首先要指出的是,collapse
不是而且可能永远不会是像 dplyr
或 data.table
。它的重点不是按组优化执行任意代码表达式,而是通过它提供的广泛的基于 C++ 的统计和数据转换函数来提供高级和高效的分组、加权、时间序列和面板数据计算。我参考 collapse
和 data.table
上的 vignette 以进一步阐明这些要点以及集成示例。
因此,我认为将 data.table
代码翻译成 collapse
才有意义,如果 (1) 您在 data.table
中想出了一个神秘的表达式来做一些复杂的事情它不擅长统计(例如加权聚合,计算分位数或按组计算模式,滞后/区分不规则面板,分组居中或线性/多项式拟合)(2)你实际上不需要 data.table
对象,但更愿意使用向量/矩阵/data.frame's / tibbles (3) 你想编写一个统计程序并且更喜欢标准评估编程而不是 NS eval 和 data.table
语法或 ( 4) collapse
对于您的特定应用来说确实快得多。
现在查看您提供的具体代码。它混合了标准和非标准评估(例如通过使用 get()
),这是 collapse
不太擅长的事情。我会给你 3 个解决方案,从完整的 NS eval 到完整的标准 eval base R 风格编程。
library(data.table)
library(nycflights13)
library(magrittr)
library(collapse)
data("flights")
flights_DT <- as.data.table(flights)
# Defining a function for the second aggregation
myFUN <- function(x) (cumsum(x[1:2])/sum(x))[2L]
# Soluting 1: Non-Standard evaluation
flights_DT %>%
fgroup_by(carrier, month, day) %>%
fsummarise(agg_val_var = fsum(abs(arr_delay))) %>%
roworder(month, day, -agg_val_var, na.last = NA) %>%
fgroup_by(month, day) %>%
fsummarise(value_share = myFUN(agg_val_var)) %>%
roworder(-value_share)
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建
请注意 na.last = NA
的使用实际上删除了缺少 agg_val_var
的情况。这是这里需要的,因为 fsum(NA)
是 NA
而不是像 sum(NA, na.rm = TRUE)
那样的 0
。现在的混合示例可能接近您提供的代码:
val_var <- "arr_delay"
id_var <- "carrier"
by <- c("month", "day")
# Solution 2: Hybrid approach with standard eval and magrittr pipes
flights_DT %>%
get_vars(c(id_var, val_var, by)) %>%
ftransformv(val_var, abs) %>%
collapv(c(id_var, by), fsum) %>%
get_vars(c(by, val_var)) %>%
roworderv(decreasing = c(FALSE, FALSE, TRUE), na.last = NA) %>%
collapv(by, myFUN) %>%
roworderv(val_var, decreasing = TRUE) %>%
frename(replace, names(.) == val_var, "value_share")
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建
请注意,我在末尾使用 frename
为结果列指定了您想要的名称,因为您不能在 collapse
的同一函数中混合使用标准和非标准 eval。最后,collapse
的一大优点是您可以将它用于非常低级的编程:
# Solution 3: Programming
data <- get_vars(flights_DT, c(id_var, val_var, by))
data[[val_var]] <- abs(.subset2(data, val_var))
g <- GRP(data, c(id_var, by))
data <- add_vars(get_vars(g$groups, by),
fsum(get_vars(data, val_var), g, use.g.names = FALSE))
data <- roworderv(data, decreasing = c(FALSE, FALSE, TRUE), na.last = NA)
g <- GRP(data, by)
columns
data <- add_vars(g$groups, list(value_share = BY(.subset2(data, val_var), g, myFUN, use.g.names = FALSE)))
data <- roworderv(data, "value_share", decreasing = TRUE)
data
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建
我建议您在 programming 和 collapse
上阅读博客 post,以获取更有趣的示例,了解这如何有益于统计代码的开发。
现在为了评估,我将这些解决方案包装在函数中,其中 DT()
是您提供的 data.table
代码,运行 在 windows 机器上有 2 个线程.这检查相等性:
all_obj_equal(DT(), clp_NSE(), clp_Hybrid(), clp_Prog())
#> TRUE
现在基准:
library(microbenchmark)
microbenchmark(DT(), clp_NSE(), clp_Hybrid(), clp_Prog())
#> Unit: milliseconds
#> expr min lq mean median uq max neval cld
#> DT() 85.81079 87.80887 91.82032 89.47025 92.54601 132.26073 100 b
#> clp_NSE() 13.47535 14.15744 15.99264 14.80606 16.29140 28.16895 100 a
#> clp_Hybrid() 13.79843 14.23508 16.61606 15.00196 16.83604 32.94648 100 a
#> clp_Prog() 13.71320 14.17283 16.16281 14.94395 16.16935 39.24706 100 a
如果您关心这些毫秒,请随意优化,但对于 340,000 obs,所有解决方案都非常快。
我最近阅读了有关 collapse 软件包的信息,并尝试将以下 data.table
代码转换为 collapse
以查看它在实际示例中是否更快。
这是我的 data.table
代码:
library(data.table)
library(nycflights13)
data("flights")
flights_DT <- as.data.table(flights)
val_var <- "arr_delay"
id_var <- "carrier"
by <- c("month", "day")
flights_DT[
j = list(agg_val_var = sum(abs(get(val_var)), na.rm = TRUE)),
keyby = c(id_var, by)
][
i = order(-agg_val_var),
j = list(value_share = cumsum(agg_val_var)/sum(agg_val_var)),
keyby = by
][
j = .SD[2L],
keyby = by
][
order(-value_share)
]
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v1.0.0)
于 2021 年 3 月 11 日创建我设法翻译了第一个 data.table
电话,但后来遇到了困难。
很高兴看到如何使用 collapse
来处理这个用例。
因此,关于这一点,我首先要指出的是,collapse
不是而且可能永远不会是像 dplyr
或 data.table
。它的重点不是按组优化执行任意代码表达式,而是通过它提供的广泛的基于 C++ 的统计和数据转换函数来提供高级和高效的分组、加权、时间序列和面板数据计算。我参考 collapse
和 data.table
上的 vignette 以进一步阐明这些要点以及集成示例。
因此,我认为将 data.table
代码翻译成 collapse
才有意义,如果 (1) 您在 data.table
中想出了一个神秘的表达式来做一些复杂的事情它不擅长统计(例如加权聚合,计算分位数或按组计算模式,滞后/区分不规则面板,分组居中或线性/多项式拟合)(2)你实际上不需要 data.table
对象,但更愿意使用向量/矩阵/data.frame's / tibbles (3) 你想编写一个统计程序并且更喜欢标准评估编程而不是 NS eval 和 data.table
语法或 ( 4) collapse
对于您的特定应用来说确实快得多。
现在查看您提供的具体代码。它混合了标准和非标准评估(例如通过使用 get()
),这是 collapse
不太擅长的事情。我会给你 3 个解决方案,从完整的 NS eval 到完整的标准 eval base R 风格编程。
library(data.table)
library(nycflights13)
library(magrittr)
library(collapse)
data("flights")
flights_DT <- as.data.table(flights)
# Defining a function for the second aggregation
myFUN <- function(x) (cumsum(x[1:2])/sum(x))[2L]
# Soluting 1: Non-Standard evaluation
flights_DT %>%
fgroup_by(carrier, month, day) %>%
fsummarise(agg_val_var = fsum(abs(arr_delay))) %>%
roworder(month, day, -agg_val_var, na.last = NA) %>%
fgroup_by(month, day) %>%
fsummarise(value_share = myFUN(agg_val_var)) %>%
roworder(-value_share)
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建请注意 na.last = NA
的使用实际上删除了缺少 agg_val_var
的情况。这是这里需要的,因为 fsum(NA)
是 NA
而不是像 sum(NA, na.rm = TRUE)
那样的 0
。现在的混合示例可能接近您提供的代码:
val_var <- "arr_delay"
id_var <- "carrier"
by <- c("month", "day")
# Solution 2: Hybrid approach with standard eval and magrittr pipes
flights_DT %>%
get_vars(c(id_var, val_var, by)) %>%
ftransformv(val_var, abs) %>%
collapv(c(id_var, by), fsum) %>%
get_vars(c(by, val_var)) %>%
roworderv(decreasing = c(FALSE, FALSE, TRUE), na.last = NA) %>%
collapv(by, myFUN) %>%
roworderv(val_var, decreasing = TRUE) %>%
frename(replace, names(.) == val_var, "value_share")
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建请注意,我在末尾使用 frename
为结果列指定了您想要的名称,因为您不能在 collapse
的同一函数中混合使用标准和非标准 eval。最后,collapse
的一大优点是您可以将它用于非常低级的编程:
# Solution 3: Programming
data <- get_vars(flights_DT, c(id_var, val_var, by))
data[[val_var]] <- abs(.subset2(data, val_var))
g <- GRP(data, c(id_var, by))
data <- add_vars(get_vars(g$groups, by),
fsum(get_vars(data, val_var), g, use.g.names = FALSE))
data <- roworderv(data, decreasing = c(FALSE, FALSE, TRUE), na.last = NA)
g <- GRP(data, by)
columns
data <- add_vars(g$groups, list(value_share = BY(.subset2(data, val_var), g, myFUN, use.g.names = FALSE)))
data <- roworderv(data, "value_share", decreasing = TRUE)
data
#> month day value_share
#> 1: 10 3 0.5263012
#> 2: 1 24 0.5045664
#> 3: 1 20 0.4885145
#> 4: 10 17 0.4870692
#> 5: 3 6 0.4867606
#> ---
#> 361: 5 4 0.3220295
#> 362: 6 15 0.3205974
#> 363: 1 28 0.3197260
#> 364: 11 25 0.3161550
#> 365: 6 14 0.3128286
由 reprex package (v0.3.0)
于 2021 年 3 月 12 日创建我建议您在 programming 和 collapse
上阅读博客 post,以获取更有趣的示例,了解这如何有益于统计代码的开发。
现在为了评估,我将这些解决方案包装在函数中,其中 DT()
是您提供的 data.table
代码,运行 在 windows 机器上有 2 个线程.这检查相等性:
all_obj_equal(DT(), clp_NSE(), clp_Hybrid(), clp_Prog())
#> TRUE
现在基准:
library(microbenchmark)
microbenchmark(DT(), clp_NSE(), clp_Hybrid(), clp_Prog())
#> Unit: milliseconds
#> expr min lq mean median uq max neval cld
#> DT() 85.81079 87.80887 91.82032 89.47025 92.54601 132.26073 100 b
#> clp_NSE() 13.47535 14.15744 15.99264 14.80606 16.29140 28.16895 100 a
#> clp_Hybrid() 13.79843 14.23508 16.61606 15.00196 16.83604 32.94648 100 a
#> clp_Prog() 13.71320 14.17283 16.16281 14.94395 16.16935 39.24706 100 a
如果您关心这些毫秒,请随意优化,但对于 340,000 obs,所有解决方案都非常快。