如何获取 spark 驱动程序指标 json?

How to get the spark driver metrics json?

我遵循了监控指南: http://spark.apache.org/docs/latest/monitoring.html 配置 metricsservlet,但似乎这个文档没有说任何有用的东西......

metrics.properties 中的公地说:

"5.MetricsServlet默认添加为master、worker和client中的sink 驱动程序,你可以发送http请求“/metrics/json”来获取所有的快照 json 格式的注册指标。对于主人,请求“/metrics/master/json”和 "/metrics/applications/json" 可以单独发送以获取指标快照 实例主机和应用程序。 MetricsServlet 可能不是自己配置的。 "

但是http请求的前缀是什么url?我应该在哪里提交http请求?

http://driver-node:4040/metrics/json 不响应 json,只是重定向到网络 UI...

谢谢。

如果您使用的是 Spark 1.2.0,则已知指标 servlet 因 SparkContext (SPARK-4549; this is one of the few known 1.1.1 -> 1.2.0 regressions and is documented in the release notes). There's a patch available to fix this issue (https://github.com/apache/spark/pull/3444) 中的初始化顺序错误而被破坏,它将包含在 Spark 1.2.1 中。我们预计将在下周左右开始对 1.2.1 候选版本进行投票,因此您可以期待很快发布包含此修复程序的维护版本。同时,您可以从 masterbranch-1.2 分支自行构建 Spark,或使用没有此问题的早期版本的 Spark(例如 Spark 1.1.1)。