scala：处理元组，其中元组的第二个元素是字符串数组

Question

我有一个rdd，RDD的结构如下：

org.apache.spark.rdd.RDD[(String, Array[String])] = MappedRDD[40] at map at <console>:14

这里是 x.take(1) 看起来像：

Array[(String, Array[String])] = Array((8239427349237423,Array(122641|2|2|1|1421990315711|38|6487985623452037|684|, 1229|2|1|1|1411349089424|87|462966136107937|1568|.....))

对于数组中的每个字符串，我想用“|”分割并取第 6 项和 return 它与元组的第一个元素如下：

8239427349237423-6487985623452037
8239427349237423-4629661361079371

我是这样开始的：

  def getValues(lines: Array[String]) {
    for(line <- lines) {
      line.split("|")(6)
    }

我也试过以下：

val b= x.map(a => (a._1, a._2.flatMap(y => y.split("|")(6))))

但这最终给了我以下信息：

Array[(String, Array[Char])] = Array((8239427349237423,Array(1, 2, 4, |, 9, |, 4, 1, 7, 6, |, 2, 9, 2, 7, 2, |, 7, |,....)))

Answer 1

如果你想对整个 x 都这样做，你可以使用 flatMap:

def getValues(x: Array[(String, Array[String])]) =
  x flatMap (line => line._2 map (line._1 + "-" + _.split("\|")(6)))

或者，也许更清楚一点，为了理解：

def getValues(x: Array[(String, Array[String])]) = 
  for {
    (fst, snd) <- x
    line <- snd
  } yield fst + "-" + line.split("\|")(6)

你必须用"\|"参数调用split，因为它需要一个正则表达式，而|是一个特殊符号，因此你需要转义它。（编辑： 或者您可以使用 '|'（一个 Char），正如@BenReich 所建议的）

要回答您的评论，您可以修改 getValues 以从 x 中获取单个元素作为参数：

def getValues(item: (String, Array[String])) =
  item._2 map (item._1 + "-" + _.split('|')(6))

然后用

调用

x flatMap getValues

scala：处理元组，其中元组的第二个元素是字符串数组

scala: Handle tuple where second element of tuple is an array of strings

scala

apache-spark

rdd