PySpark error: TypeError: Invalid argument, not a string or column

Question

我正在尝试计算 Spark 数据框中的列中所有两个可能的词对之间的相似度。我创建了一个 UDF 和一个数据框来测试该函数，我将它们定义如下：

   #Similarity Function
def lcs_similarityy(vector):
  metric_lcs = MetricLCS()
  p = []
  for i in vector:
    for j in vector:
      p.append(1 - metric_lcs.distance(i, j))
  return  p
   
   #UDF
lcs_similarityyUDF = udf(lambda z: lcs_similarityy(z))

   #Spark Data Frame
df = spark.createDataFrame(["GERMAN", "GERMANIA", "GERMANY", "LENOVO"], "string").toDF("Name")

我期望一列有 16 行，因为有 16 个可能的对。但是一旦我测试了函数

lcs_similarityUDF(df.select("Name"))

我收到错误：


TypeError: Invalid argument, not a string or column: DataFrame[Name: string] of type <class 'pyspark.sql.dataframe.DataFrame'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' function.

我一直在尝试通过不同的方法解决这个问题，但我无法让它工作，而且我对 Spark 知之甚少，也不知道它可能是什么问题。我不知道我是否在 UDF 中犯了错误或定义了数据框，非常感谢任何帮助。

Answer 1

按如下方式应用您的 UDF

df.select(
    lcs_similarityUDF(df.Name).alias("Name")
)

PySpark error: TypeError: Invalid argument, not a string or column

PySpark error: TypeError: Invalid argument, not a string or column

user-defined-functions

apache-spark

pyspark