是否可以知道特定 Spark 作业使用的资源？

Question

我正在借鉴使用多租户 Spark 集群的想法。集群按需为特定租户执行作业。

是否可以 "know" 特定工作使用的特定资源（出于付款原因）？例如。如果作业需要自动分配 kubernetes 中的多个节点，是否可以跟踪启动这些资源分配的 Spark 作业（和最后的租户）？或者，作业总是均匀分布在分配的资源上？

试图在 Apache Spark 站点和互联网上的其他地方查找信息，但没有成功。

Answer 1

见https://spark.apache.org/docs/latest/monitoring.html

您可以将 Spark History Server 中的数据保存为 json，然后编写您自己的资源计算内容。

你说的是Spark App。