Spark dataframe will not show() - Py4JJavaError: An error occurred while calling o426.showString
Spark dataframe will not show() - Py4JJavaError: An error occurred while calling o426.showString
我有一个无法.show() 的数据框。每次都报以下错误？是否有损坏的列？
错误：
Py4JJavaError: An error occurred while calling o426.showString. :
org.apache.spark.SparkException: Job aborted due to stage failure:
Task 0 in stage 381.0 failed 4 times, most recent failure: Lost task
0.3 in stage 381.0 (TID 19204, ddlps28.rsc.dwo.com, executor 99): org.apache.spark.api.python.PythonException: Traceback (most recent
call last): File
"/opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2/python/pyspark/worker.py",
line 177, in main
您的错误很可能实际上不在 "show" 操作中。 .show 是触发 DAG 执行的原因。你说如果你不 运行 你的 UDF 就可以工作，你可能只是在那个 UDF 中有一个不同的错误。该日志可能位于工作节点上，因此请尝试通过您的 Hadoop UI 访问以访问执行程序日志以查看真正的问题
我有一个无法.show() 的数据框。每次都报以下错误？是否有损坏的列？
错误：
Py4JJavaError: An error occurred while calling o426.showString. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 381.0 failed 4 times, most recent failure: Lost task 0.3 in stage 381.0 (TID 19204, ddlps28.rsc.dwo.com, executor 99): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2/python/pyspark/worker.py", line 177, in main
您的错误很可能实际上不在 "show" 操作中。 .show 是触发 DAG 执行的原因。你说如果你不 运行 你的 UDF 就可以工作，你可能只是在那个 UDF 中有一个不同的错误。该日志可能位于工作节点上，因此请尝试通过您的 Hadoop UI 访问以访问执行程序日志以查看真正的问题