在 Zeppelin 的 scala 中使用 Spark 拆分列并将部分连接成新列

Question

这是我的数据框的样子：

p3.show(false)

CLASS_NAME          ID    CREATED_BY
/SC/ABC/123/abc     123    david
/SC/DEF/456/ghi     456    hannah
... more rows to follow

我想做的是：拆分 CLASS_NAME 列并连接它的前两个字符串部分并形成一个新列：CLIENT_ID 并附加到数据框，所需的输出是下面：

CLASS_NAME          ID    CREATED_BY  CLIENT_ID
/SC/ABC/123/abc     xyz    david      /SC/ABC
/SC/DEF/456/ghi     jfk    hannah     /SC/DEF
... more rows to follow

到目前为止，我能够遵循这个并使用以下命令拆分它们：

import org.apache.spark.sql.functions.split
import spark.implicits._

val p4 = p3.withColumn("CLIENT_ID", split($"CLASS_NAME", "\/")).select(
  $"CLIENT_ID".getItem(1).as("col1"),
  $"CLIENT_ID".getItem(2).as("col2"),
  $"CLIENT_ID".getItem(3).as("col3")
)
p4.show(false)

col1 col2 col3
SC   ABC  123
SC   DEF  456
... more rows to follow

但我还没有想出如何 1. 连接两个字符串； 2. 将此新列附加到原始数据框。

如有任何想法，我们将不胜感激！

Answer 1

您可以使用 concat 组合三个部分中的两个：

import org.apache.spark.sql.functions.concat
import org.apache.spark.sql.functions.lit

val p4 = p3.withColumn("CLIENT_ID", split($"CLASS_NAME", "\/"))
  .withColumn("CLIENT_ID", concat(lit("/"), $"CLIENT_ID".getItem(1), lit("/"), $"CLIENT_ID".getItem(2)))

另一种选择是使用 regexp_extract:

import org.apache.spark.sql.functions.regexp_extract

val p4 = p3.withColumn("CLIENT_ID", regexp_extract($"CLASS_NAME", "(/[A-Z]+/[A-Z]+)/", 1))

两种情况下的结果：

+---------------+---+----------+---------+
|     CLASS_NAME| ID|CREATED_BY|CLIENT_ID|
+---------------+---+----------+---------+
|/SC/ABC/123/abc|123|     david|  /SC/ABC|
|/SC/DEF/456/ghi|456|    hannah|  /SC/DEF|
+---------------+---+----------+---------+

在 Zeppelin 的 scala 中使用 Spark 拆分列并将部分连接成新列

Split a column and concatenate parts into a new column using Spark in scala on Zeppelin

scala

dataframe

apache-spark

apache-zeppelin