运行 sparklyr 中的长度 ID

Question

data.table 提供了一个 rleid 函数，我认为它非常宝贵 - 当一个或多个观察变量发生变化时，它充当一个自动收报机，由其他一些变量排序。

library(dplyr)


tbl = tibble(time = as.integer(c(1, 2, 3, 4, 5, 6, 7, 8)), 
             var  = c("A", "A", "A", "B", "B", "A", "A", "A"))

> tbl
# A tibble: 8 × 2
   time   var
  <int> <chr>
1     1     A
2     2     A
3     3     A
4     4     B
5     5     B
6     6     A
7     7     A
8     8     A

想要的结果是

> tbl %>% mutate(rleid = data.table::rleid(var))
# A tibble: 8 × 3
   time   var rleid
  <int> <chr> <int>
1     1     A     1
2     2     A     1
3     3     A     1
4     4     B     2
5     5     B     2
6     6     A     3
7     7     A     3
8     8     A     3

我想知道我是否可以使用 sparklyr 提供的工具重现类似的东西。在测试时，我发现我能做的最好的事情就是达到我需要进行前向填充的程度，但后来无法实现。

library(sparklyr)

spark_install(version = "2.0.2")
sc <- spark_connect(master = "local", 
                    spark_home = spark_home_dir())


spk_tbl = copy_to(sc, tbl, overwrite = TRUE)

spk_tbl %>% 
  mutate(var2 = (var != lag(var, 1L, order = time))) %>%  # Thanks @JaimeCaffarel
  mutate(var3 = if(var2) { paste0(time, var) } else { NA })

Source:   query [8 x 4]
Database: spark connection master=local[4] app=sparklyr local=TRUE

   time   var  var2  var3
  <int> <chr> <lgl> <chr>
1     1     A  TRUE    1A
2     2     A FALSE  <NA>
3     3     A FALSE  <NA>
4     4     B  TRUE    4B
5     5     B FALSE  <NA>
6     6     A  TRUE    6A
7     7     A FALSE  <NA>
8     8     A FALSE  <NA>

我尝试过使用 SparkR，但我更喜欢 sparklyr 界面及其易用性，因此我最好能够在 Spark SQL 中执行此操作.

我当然可以，已经通过将数据分成足够小的块来做到这一点，collect对其进行处理，运行创建一个函数并将其发回。

就上下文而言，我发现 rleid 有用的原因是我处理了大量的火车数据，能够索引运行它所在的内容非常有用。

感谢您的帮助阿基尔

Answer 1

sparklyr 中的可行解决方案是：

spk_tbl %>% 
  dplyr::arrange(time) %>% 
  dplyr::mutate(rleid = (var != lag(var, 1, order = time, default = FALSE))) %>% 
  dplyr::mutate(rleid = cumsum(as.numeric(rleid)))

Answer 2

试试这个：

tbl %>% mutate(run = c(0,cumsum(var[-1L] != var[-length(var)])))
# A tibble: 8 × 3
   time   var   run
  <int> <chr> <dbl>
1     1     A     0
2     2     A     0
3     3     A     0
4     4     B     1
5     5     B     1
6     6     A     2
7     7     A     2
8     8     A     2

运行 sparklyr 中的长度 ID

Run length ID in sparklyr

r

apache-spark-sql

sparklyr