SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作？
Does the User Defined Functions (UDF) in SPARK works in a distributed way?
如果数据存储在不同的节点中，SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作，还是将所有数据累积到主节点中进行处理？如果它以分布式方式工作，那么我们可以将 python 中的任何函数（无论是预定义的还是用户定义的）转换为 spark UDF，如下所述：
spark.udf.register("myFunctionName", functionNewName)
Spark 数据帧分布在分区中的集群中。每个分区都由 UDF 处理，所以答案是肯定的。您也可以在 Spark UI.
中看到这一点
如果数据存储在不同的节点中，SPARK 中的用户定义函数 (UDF) 是否以分布式方式工作，还是将所有数据累积到主节点中进行处理？如果它以分布式方式工作，那么我们可以将 python 中的任何函数（无论是预定义的还是用户定义的）转换为 spark UDF，如下所述：
spark.udf.register("myFunctionName", functionNewName)
Spark 数据帧分布在分区中的集群中。每个分区都由 UDF 处理，所以答案是肯定的。您也可以在 Spark UI.
中看到这一点