Spark API: 在 LIKE 语句中使用列值

Question

在火花中 API:

column.like("only takes a static string with optional wildcards like %")
column.contains(accepts_a_column_but_wont_parse_wildcards)

那么，使用可能出现在连接中找到的列的字符串值中的通配符来比较值的等效方法是什么？

失败的示例，因为 like() 接受文字字符串，而不是列：

.join(other_df, column.like(concat("%", $"column_potentially_with_wildcards", "%")), "left")

?

Answer 1

查看代码，like() 似乎只接受文字值以方便使用。希望他们会在未来的版本中对此进行扩展，但现在您可以创建自己的函数来补偿：

import org.apache.spark.sql.catalyst.expressions.Like
import org.apache.spark.sql.Column

def columnLike(a : Column, b : Column) : Column = new Column( Like(a.expr, b.expr))

...

scala> val df1 = List("aaaa", "bbbb", "aaaabbbbcccc", "abcd", "abc").toDS()
df1: org.apache.spark.sql.Dataset[String] = [value: string]

scala> val df2 = List("a%b%c").toDS()
df2: org.apache.spark.sql.Dataset[String] = [value: string]

scala> df1.join(df2, columnLike(df1("value"), df2("value"))).show
+------------+-----+                                                            
|       value|value|
+------------+-----+
|aaaabbbbcccc|a%b%c|
|         abc|a%b%c|
+------------+-----+

Spark API: 在 LIKE 语句中使用列值

Spark API: Use column value in LIKE statement

apache-spark

apache-spark-sql

sparkapi