如何获取 spark 驱动程序指标 json?
How to get the spark driver metrics json?
我遵循了监控指南:
http://spark.apache.org/docs/latest/monitoring.html
配置 metricsservlet,但似乎这个文档没有说任何有用的东西......
metrics.properties 中的公地说:
"5.MetricsServlet默认添加为master、worker和client中的sink
驱动程序,你可以发送http请求“/metrics/json”来获取所有的快照
json 格式的注册指标。对于主人,请求“/metrics/master/json”和
"/metrics/applications/json" 可以单独发送以获取指标快照
实例主机和应用程序。 MetricsServlet 可能不是自己配置的。
"
但是http请求的前缀是什么url?我应该在哪里提交http请求?
http://driver-node:4040/metrics/json
不响应 json,只是重定向到网络 UI...
谢谢。
如果您使用的是 Spark 1.2.0,则已知指标 servlet 因 SparkContext (SPARK-4549; this is one of the few known 1.1.1 -> 1.2.0 regressions and is documented in the release notes). There's a patch available to fix this issue (https://github.com/apache/spark/pull/3444) 中的初始化顺序错误而被破坏,它将包含在 Spark 1.2.1 中。我们预计将在下周左右开始对 1.2.1 候选版本进行投票,因此您可以期待很快发布包含此修复程序的维护版本。同时,您可以从 master
或 branch-1.2
分支自行构建 Spark,或使用没有此问题的早期版本的 Spark(例如 Spark 1.1.1)。
我遵循了监控指南: http://spark.apache.org/docs/latest/monitoring.html 配置 metricsservlet,但似乎这个文档没有说任何有用的东西......
metrics.properties 中的公地说:
"5.MetricsServlet默认添加为master、worker和client中的sink 驱动程序,你可以发送http请求“/metrics/json”来获取所有的快照 json 格式的注册指标。对于主人,请求“/metrics/master/json”和 "/metrics/applications/json" 可以单独发送以获取指标快照 实例主机和应用程序。 MetricsServlet 可能不是自己配置的。 "
但是http请求的前缀是什么url?我应该在哪里提交http请求?
http://driver-node:4040/metrics/json 不响应 json,只是重定向到网络 UI...
谢谢。
如果您使用的是 Spark 1.2.0,则已知指标 servlet 因 SparkContext (SPARK-4549; this is one of the few known 1.1.1 -> 1.2.0 regressions and is documented in the release notes). There's a patch available to fix this issue (https://github.com/apache/spark/pull/3444) 中的初始化顺序错误而被破坏,它将包含在 Spark 1.2.1 中。我们预计将在下周左右开始对 1.2.1 候选版本进行投票,因此您可以期待很快发布包含此修复程序的维护版本。同时,您可以从 master
或 branch-1.2
分支自行构建 Spark,或使用没有此问题的早期版本的 Spark(例如 Spark 1.1.1)。