在 sparkR 中加载 csv 文件

Question

在 R 中，我创建了两个数据集，我已通过

将其保存为 csv 文件

liste <-write.csv(liste, file="/home/.../liste.csv", row.names=FALSE)
    data <- write.csv(data, file="/home/.../data.csv", row.names=FALSE)

我现在想在 SparkR 中打开这些 csv 文件。所以我输入

liste <- read.df(sqlContext, "/home/.../liste.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")

data <- read.df(sqlContext, "/home/.../data.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")

事实证明，一个数据集'liste'在SparkR中加载成功，但是'data'由于一些奇怪的原因无法加载。

'liste' 只是 R 中的数字向量，而 'data' 是 data.frame 我已经加载到 R 中并删除了 data.frame 的某些部分。 SparkR 给我这个错误信息：

Error: returnStatus == 0 is not TRUE

Answer 1

Liste是一个可以用write.csv写的本地列表，data是一个SparkR DataFrame，不能用write.csv写：它只写它的指针，而不是DataFrame。这就是为什么它只有 33 kb

在 sparkR 中加载 csv 文件

Loading csv-files in sparkR

r

sparkr