从 nfs 位置删除超过 7 天的 Spark History Server 日志？

Question

  api.name: spark-history-server
  file.upload.path: /opt/nfs/edaikub/dg/dev/system/uploads
  gcp.server.property.file.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template/gcp
  git.files.update.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template/git-files-update.json
  onprem.server.property.file.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template/onprem
  preferred.id.deployment.file.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template/allowed-id-for-deployment
  preferred.id.file.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template/allowed-preferred-id
  server.error.whitelabel.enabled: "false"
  server.port: "18080"
  server.property.file.path: /opt/nfs/edaikub/dg/dev/system/deployment-files-template
  server.servlet.context-path: /
  spark.history.fs.cleaner.enabled: "true"
  spark.history.fs.cleaner.interval: "1h"
  spark.history.fs.cleaner.maxAge: "12h"
  spring.thymeleaf.prefix: classpath:/templates/dev/
  spring.thymeleaf.view-names: index,devForm,error
  temp.repo.location: /opt/nfs/edaikub/dg/dev/system/temp-git-repo

我正在尝试使用上述三个参数清除我在 Kubernetes 中部署的 spark 历史服务器日志，我在这里找到了答案

当我手动重新启动 pods 并删除超过 12 小时的日志时，它会起作用，但随着时间的推移，它会再次开始拾取旧日志，并且 spark 历史服务器需要 1-2 小时才能重新启动，还有另一种方法吗？可以这样做，这样我就不必随时间手动重启 pods。

问了一圈，发现可能是因为我用的是nfs之类的shared starage。

Answer 1

问题是我试图在 Configmap.yaml 文件而不是 Deployment.yaml 文件中添加这些参数。只需在 SPARK_HISTORY_OPTS.

中添加这些参数

例子

姓名：SPARK_HISTORY_OPTS

值：“-Dspark.history.fs.logDirectory=/FS/YOU/CREATED/ABOVE -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=1d -Dspark.history.fs.cleaner.maxAge=7d”

这篇文章对我有帮助 https://wbassler23.medium.com/spark-history-server-on-dc-os-516fb71523a5

从 nfs 位置删除超过 7 天的 Spark History Server 日志？

Deleting Spark History Server logs which are more than 7 days old from nfs location?

apache-spark

kubernetes

nfs

例子