使用 SparkR 进行按行计算

Question

这是我的玩具数据框。

library(tibble); library(SparkR)

df <- tibble::tribble(
  ~var1, ~var2, ~maxofvar1var2,
  1L,    1L,    1L,
  2L,    1L,    2L,
  2L,    3L,    3L,
  NA,    2L,    2L,
  1L,    4L,    4L,
  8L,    5L,    8L)

df <- df %>% as.DataFrame()

如何使用 SparkR 进行逐行计算，以获得上面 df 中第三个变量所示的 var1 和 var2 的最大值？如果SparkR中没有rowwise函数，我怎样才能得到想要的输出？

Answer 1

from a set of columns use SparkR::greatest:

df %>% withColumn("maxOfVars", greatest(df$var1, df$var2))

一般情况下，高阶函数，如 aggregate（Spark 2.4 或更高版本），在组装数据上。

df %>% withColumn("theLastVar", expr("aggregate(array(var1, var2), (x, y) -> y)"))

或（与版本无关）表达式的组成：

scols <- c("var1", "var2") %>% purrr::map(column)

sumOfVars <- scols %>%
  purrr::map(function(x) coalesce(x, lit(0)))  %>%
  purrr::reduce(function(x, y) x + y, .init=lit(0))

countOfVars <- scols %>% 
  purrr::map(function(x) ifelse(isNotNull(x), lit(1), lit(0))) %>%
  purrr::reduce(
    function(x, y) x + y, .init=lit(0))

df %>% withColumn("meanOfVars", sumOfVars / countOfVars)

使用 SparkR 进行按行计算

Rowwise calculation using SparkR

r

apache-spark

sparkr