为什么 sample() 在 SparkR 中与 R 不同?
Why is sample() different in SparkR to R?
我在 R 方面有一些经验,我正在通过首先探索 R 在 Spark 中的实现来学习 Spark 1.6.1。
我注意到 R sample() 命令的语法在 Spark 中有所不同:
base::R: sample(x, size, replace)
火花 R:sample(DataFrame, withReplacement, fraction)
base::sample(x, size, replace)
仍然有效,但被 Spark R 版本屏蔽了。
有谁知道这是为什么,因为两者之间的大多数命令是相同的?
是否有我应该使用一个与另一个的用例?
有没有人找到 Spark R 和 base:: R 之间的权威差异列表?
谢谢!
如果您有 SparkR 数据框,则需要使用 SparkR api 进行采样。如果您有 R 数据框,则需要使用 base::R 采样函数调用。 SparkR 不是 R,函数调用也不相同。
您遇到的问题是 masking.
之一
为了解决问题的第二部分,为了其他人的利益,我发现 Spark 文档实际上列出了被屏蔽的 R 函数:
R Function Name Conflicts
我在 R 方面有一些经验,我正在通过首先探索 R 在 Spark 中的实现来学习 Spark 1.6.1。
我注意到 R sample() 命令的语法在 Spark 中有所不同:
base::R: sample(x, size, replace)
火花 R:sample(DataFrame, withReplacement, fraction)
base::sample(x, size, replace)
仍然有效,但被 Spark R 版本屏蔽了。
有谁知道这是为什么,因为两者之间的大多数命令是相同的?
是否有我应该使用一个与另一个的用例?
有没有人找到 Spark R 和 base:: R 之间的权威差异列表?
谢谢!
如果您有 SparkR 数据框,则需要使用 SparkR api 进行采样。如果您有 R 数据框,则需要使用 base::R 采样函数调用。 SparkR 不是 R,函数调用也不相同。
您遇到的问题是 masking.
之一为了解决问题的第二部分,为了其他人的利益,我发现 Spark 文档实际上列出了被屏蔽的 R 函数: R Function Name Conflicts