Pyspark SIZE 函数本身有效,但它不是 UDF
Pyspark SIZE function works in itself, but in UDF it doesnt
无法理解为什么 SIZE 本身起作用,但在 UDF 中不起作用。输出为 IntegerType,如上图所示。
例如适用于 max。
@samkart 你的函数应该是 python 函数,而不是原生的 spark 函数。
好的,这就解释了。
很好奇,spark 文档中哪里提到了这个?
无法理解为什么 SIZE 本身起作用,但在 UDF 中不起作用。输出为 IntegerType,如上图所示。
例如适用于 max。
@samkart 你的函数应该是 python 函数,而不是原生的 spark 函数。 好的,这就解释了。
很好奇,spark 文档中哪里提到了这个?