尝试从 Power BI 加载新视图时出现 Spark 错误

Question

我在 Power Bi 中使用 Spark cli 服务，它在尝试从 spark 加载 View 时抛出以下错误。

DataSource.Error：ODBC：错误 [HY000] [Microsoft][Hardy] (35) 来自服务器的错误：错误代码：'0' 错误消息：'org.apache.hive.service.cli.HiveSQLException：Error 运行 query: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2891.0 failed 1 times, 最近一次失败：在阶段 2891.0 (TID 1227) (ip-XXX-XXX-XXX.compute.internal 执行驱动程序中丢失任务 0.0: java.io.FileNotFoundException: /tmp/blockmgr-51aefd41-4d64-49fb-93d0-10deca23cad3/03/temp_shuffle_39d969f9-b0af-4d4a-b476-b264eb18fd1c (无此文件或目录）在 java.io.FileOutputStream.open0（本机方法）

在spark-sql cli中查看returns数据：

新的表在刷新时工作正常，错误只发生在视图上。

我也验证了磁盘space，它没有满

Answer 1

似乎是 spark-core 中的错误 https://issues.apache.org/jira/browse/SPARK-36500

其他人也有类似的问题：

经过研究，我的解决方案是增加执行程序内存。在 spark-defaults.conf

spark.executor.memory 5g

然后重启

尝试从 Power BI 加载新视图时出现 Spark 错误

Spark error when trying to load new View from Power BI

apache-spark

apache-spark-sql

powerbi