SparkR distinct(在数据块上)

SparkR distinct (on databricks)

我是 SparkR 的新手,如果我的问题很基础,请原谅。

我在数据块上工作并尝试获取 SparkDataFrame 列的所有唯一日期。

当我运行:

uniquedays <- SparkR::distinct(df$datadate)

我收到错误消息:

unable to find an inherited method for function ‘distinct’ for signature ‘"Column"’

,我发现这通常意味着 (如果我 运行 是 S4(df),它 returns 真):

That is the type of message you will get when attempting to apply an S4 generic function to an object of a class for which no defined S4 method exists

我也试过运行

uniquedays <- SparkR::unique(df$datadate)

我在哪里收到错误消息:

unique() applies only to vectors

感觉好像,我在这里缺少一些基本的东西。 感谢您的帮助!

试试这个:

library(magrittr)
uniquedays <- SparkR::select(df, df$datadate) %>% SparkR::distinct()