Azure Synapse - 如何捕获 SparkException

Question

我尝试了以下方法：

import org.apache.spark.SparkException
from org.apache.spark.SparkException import SparkException
from org.apache.spark import SparkException

这些都给出 ModuleNotFoundError: No module named 'org.apache.spark.SparkException'.

我需要像下面这样处理 Azure Synapse 中的 PySpark 异常：

except (Py4JJavaError, SparkException, TypeError) as e:
   print(e)

Answer 1

org.apache.spark.SparkException是JVM进程中抛出的scala异常，pyspark中不能也不需要处理这个

Azure Synapse - How to catch SparkException