将 header 添加到 RDD[string] spark scala

Question

大家好，我有一个 RDD[string]，我想在将它保存到文本文件之前添加一个 header，这里是我做的代码

val projectionsTxt = rowMatrix.rows.map(l => l.toString.filter(c => c != '[' & c != ']'))
      val res = projectionsTxt.map(p => {
        var tokens = p.split(",")

        for (i <- 0 to tokens.length - 1) {

          tokens(i) = (BigDecimal(tokens(i)).setScale(2, BigDecimal.RoundingMode.HALF_UP).toDouble).toString()

        }
        tokens.mkString(",")

      })
      val header: RDD[String] = sc.parallelize(Array("col1","col2","col3"))

   header.union(res).saveAsTextFile(strFilePath)

任何帮助我都无法完成。我想获取数据及其 header。谢谢

Answer 1

尝试：val header: RDD[String] = sc.parallelize(Array("col1,col2,col3"))
列列表必须与字符串匹配（= 一行）。你有一个 RDD[String] 。因此您必须声明一个包含一个 'String' 元素的数组。

将 header 添加到 RDD[string] spark scala

Add header to RDD[string] spark scala

scala

apache-spark

apache-spark-mllib