SparkR 下降 multi-line header
SparkR drop multi-line header
如何删除 SparkR 读入的 CSV 文件的前 n 行 (header)。我知道 Scala 中有些事情是可能的,例如 How do I convert csv file to rdd or http://qnalist.com/questions/4849107/skip-lines-in-spark 但很难将其应用于 SparkR。
我会尝试使用这样的东西:
my_id <- createDataFrame(sqlContext, data.frame(my_id = 1:count(data)))
data.new <- merge(data, my_id)
data.filtered <- filter(data.new, data.new$my_id > 4)
如何删除 SparkR 读入的 CSV 文件的前 n 行 (header)。我知道 Scala 中有些事情是可能的,例如 How do I convert csv file to rdd or http://qnalist.com/questions/4849107/skip-lines-in-spark 但很难将其应用于 SparkR。
我会尝试使用这样的东西:
my_id <- createDataFrame(sqlContext, data.frame(my_id = 1:count(data)))
data.new <- merge(data, my_id)
data.filtered <- filter(data.new, data.new$my_id > 4)