Pyspark SIZE 函数本身有效,但它不是 UDF

Pyspark SIZE function works in itself, but in UDF it doesnt

无法理解为什么 SIZE 本身起作用,但在 UDF 中不起作用。输出为 IntegerType,如上图所示。

例如适用于 max。

@samkart 你的函数应该是 python 函数,而不是原生的 spark 函数。 好的,这就解释了。

很好奇,spark 文档中哪里提到了这个?