使用 Tidy Evaluation 过滤数据框

Question

我正在处理一个大型数据集。首先，对于某些列（X1、X2、...），我试图确定由重复值（a > n、b > n）组成的值范围（a、b）。接下来，我希望根据上一步给出的结果匹配相应列的条件过滤行。

这是一个可重现的示例，它模拟了我所面临的场景，

library(tidyverse)

set.seed(1122)

vecs <- lapply(X = 1:2, function(x) rep(c(1, 2, 3), times = 10) %>% sample() %>% head(10))
names(vecs) <- paste0("col_", 1:2)
dat <- vecs %>% as.data.frame()
dat

   col_1 col_2
1      3     2
2      1     1
3      1     1
4      1     2
5      1     2
6      3     3
7      3     3
8      2     1
9      1     3
10     2     2

我可以通过以下方法识别范围，

# Which col has repeated value more than 3 appearances?
more_than_3 <- function(df, var){
    var <- rlang::sym(var)

    df %>% 
        group_by(!!var) %>% 
        summarise(n = n()) %>% 
        filter(n > 3) %>% 
        pull(!!var) %>% 
        range()
}
cols_name <- c("col_1", "col_2")
some_range <- purrr::map(cols_name, more_than_3, df = dat)
names(some_range) <- cols_name
some_range

$col_1
[1] 1 1

$col_2
[1] 2 2

但是，为了过滤掉超出上限的值，这就是我所做的。

dat %>% 
    filter(col_1 <= some_range[["col_1"]][2], 
           col_2 <= some_range[["col_2"]][2])

  col_1 col_2
1     1     1
2     1     1
3     1     2
4     1     2

我相信一定有一种更有效、更优雅的方法来过滤基于整洁评估的结果。有人能给我指出正确的方向吗？

非常感谢。

Answer 1

我们可以使用map2

library(purrr)
map2(dat, some_range,  ~ .x < .y[2]) %>%
      reduce(`&`) %>%
      dat[.,]
#     col_1 col_2
#1     2     2
#2     1     1
#3     1     2
#6     1     1

或者用pmap

pmap(list(dat, some_range %>% 
                     map(2)), `<`) %>% 
      reduce(`&`) %>%
      dat[.,]

Answer 2

首先让我们尝试创建一个小函数，为一列创建一个过滤器表达式。此函数将接受一个符号，然后转换为字符串，但也可以反过来：

new_my_filter_call_upper <- function(sym, range) {
  col_name <- as.character(sym)

  col_range <- range[[col_name]]
  if (is.null(col_range)) {
    stop(sprintf("Can't find column `%s` to compute range", col_name), call. = FALSE)
  }

  expr(!!sym < !!col_range[[2]])
}

让我们试试看：

new_my_filter_call_upper(quote(foobar), some_range)
#> Error: Can't find column `foobar` to compute range

# It works!
new_my_filter_call_upper(quote(col_1), some_range)
#> col_1 < 3

现在我们已准备好创建一个管道动词，它将采用数据框和裸列名称。

# Probably cleaner to pass range as argument. Prefix with dot to allow
# columns named `range`.
my_filter <- function(.data, ..., .range) {
  # ensyms() guarantees there won't be complex expressions
  syms <- rlang::ensyms(...)

  # Now let's map the function to create many calls:
  calls <- purrr::map(syms, new_my_filter_call_upper, range = .range)

  # And we're ready to filter with those expressions:
  dplyr::filter(.data, !!!calls)
}

让我们试试看：

dat %>% my_filter(col_1, col_2, .range = some_range)
#>   col_1 col_2 NA.
#> 1     2     1   1
#> 2     2     2   1

使用 Tidy Evaluation 过滤数据框

Filter Dataframe with Tidy Evaluation

r

dplyr

tidyeval