Scala 数据框:使用 regexp_replace 将空格替换为空值
Scala dataframe: replace spaces with null value using regexp_replace
我正在尝试在 Scala 中使用 regexp_replace
将空格替换为 null
值。然而,我尝试过的所有变化都没有达到预期的输出:
+---+-----+
| Id|col_1|
+---+-----+
| 0| null|
| 1| null|
+---+-----+
我试了一下,看起来像这样:
import org.apache.spark.sql.functions._
val df = spark.createDataFrame(Seq(
(0, " "),
(1, null),
(2, "hello"))).toDF("Id", "col_1")
val test = df.withColumn("col_1", regexp_replace(df("col_1"), "^\s*", lit(Null)))
test.filter("col_1 is null").show()
您使用 regexp_replace
的方式将不起作用,因为结果将只是一个字符串,其中匹配的子字符串替换为另一个提供的子字符串。您可以使用 regexp_extract 代替 when/other
子句中的正则表达式相等性检查,如下所示:
import org.apache.spark.sql.functions._
val df = Seq(
(0, " "),
(1, null),
(2, "hello"),
(3, "")
).toDF("Id", "col_1")
df.withColumn("col_1",
when($"col_1" === regexp_extract($"col_1", "(^\s*$)", 1), null).
otherwise($"col_1")
).show
// +---+-----+
// | Id|col_1|
// +---+-----+
// | 0| null|
// | 1| null|
// | 2|hello|
// | 3| null|
// +---+-----+
我正在尝试在 Scala 中使用 regexp_replace
将空格替换为 null
值。然而,我尝试过的所有变化都没有达到预期的输出:
+---+-----+
| Id|col_1|
+---+-----+
| 0| null|
| 1| null|
+---+-----+
我试了一下,看起来像这样:
import org.apache.spark.sql.functions._
val df = spark.createDataFrame(Seq(
(0, " "),
(1, null),
(2, "hello"))).toDF("Id", "col_1")
val test = df.withColumn("col_1", regexp_replace(df("col_1"), "^\s*", lit(Null)))
test.filter("col_1 is null").show()
您使用 regexp_replace
的方式将不起作用,因为结果将只是一个字符串,其中匹配的子字符串替换为另一个提供的子字符串。您可以使用 regexp_extract 代替 when/other
子句中的正则表达式相等性检查,如下所示:
import org.apache.spark.sql.functions._
val df = Seq(
(0, " "),
(1, null),
(2, "hello"),
(3, "")
).toDF("Id", "col_1")
df.withColumn("col_1",
when($"col_1" === regexp_extract($"col_1", "(^\s*$)", 1), null).
otherwise($"col_1")
).show
// +---+-----+
// | Id|col_1|
// +---+-----+
// | 0| null|
// | 1| null|
// | 2|hello|
// | 3| null|
// +---+-----+