为什么我的 Spark 完成的应用程序仍在使用我的工作人员的磁盘 space？
Why are my Spark completed applications still using my worker's disk space?
我的 Datastax Spark 完成的应用程序正在使用我的工作人员的光盘 space。因此我的 spark 不能 运行 因为它没有剩余的磁盘 space。
这是我的 spark worker 目录。这些蓝线应用程序总共占用 92GB 但它们应该不存在了，因为它们是已完成的应用程序 感谢您的帮助，不知道问题出在哪里。
这是我的火花前线UI:
Spark 不会自动清理传输到工作节点的 jars。如果您希望它这样做，并且您是 运行 Spark Standalone（YARN 有点不同，工作方式不同），您可以设置 spark.worker.cleanup.enabled 为 true，并通过 spark.worker.cleanup.interval 设置清理间隔。这将允许 Spark 清理保留在您的 workers 中的数据。您还可以为所有应用程序目录配置默认 TTL。
来自 spark.worker.cleanup.enabled 的文档：
Enable periodic cleanup of worker / application directories. Note that
this only affects standalone mode, as YARN works differently. Only the
directories of stopped applications are cleaned up.
有关更多信息，请参阅 Spark Configuration。
我的 Datastax Spark 完成的应用程序正在使用我的工作人员的光盘 space。因此我的 spark 不能 运行 因为它没有剩余的磁盘 space。 这是我的 spark worker 目录。这些蓝线应用程序总共占用 92GB 但它们应该不存在了，因为它们是已完成的应用程序 感谢您的帮助，不知道问题出在哪里。
这是我的火花前线UI:
Spark 不会自动清理传输到工作节点的 jars。如果您希望它这样做，并且您是 运行 Spark Standalone（YARN 有点不同，工作方式不同），您可以设置 spark.worker.cleanup.enabled 为 true，并通过 spark.worker.cleanup.interval 设置清理间隔。这将允许 Spark 清理保留在您的 workers 中的数据。您还可以为所有应用程序目录配置默认 TTL。
来自 spark.worker.cleanup.enabled 的文档：
Enable periodic cleanup of worker / application directories. Note that this only affects standalone mode, as YARN works differently. Only the directories of stopped applications are cleaned up.
有关更多信息，请参阅 Spark Configuration。