在 LucidWorks Fusion 中启用 Spark 指标

Question

我正在尝试将 Graphite 接收器添加到我的 Fusion Spark 组件中。

我创建了一个文件 - ${FUSION_DIR}/apps/spark-dist/conf/metrics.properties 的内容 -

# Enable Graphite
*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=graphite-server
*.sink.graphite.port=2003
*.sink.graphite.period=10
*.sink.graphite.prefix=lab.$(hostname)

# Enable jvm source for instance master, worker, driver and executor
master.source.jvm.class=org.apache.spark.metrics.source.JvmSource
worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource
driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource
executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource

并将以下内容添加到 ${FUSION_DIR}/apps/spark-dist/bin/spark-submit -

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf=metrics.properties  "$@"

但我在 Graphite 中没有看到任何指标报告，在 Spark 日志中也没有错误。
有没有人成功使用过 Fusion 中的 Spark 指标配置？

Answer 1

我需要将完整路径添加到 spark-submit 中的 --conf 参数 -

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit --files="${SPARK_HOME}"/conf/metrics.properties --conf spark.metrics.conf="${SPARK_HOME}"/conf/metrics.properties "$@"。

我在 Spark 主进程和工作进程启动时没有看到错误，但在启动时我确实看到了错误 spark-shell 这让我陷入了配置问题。

在 LucidWorks Fusion 中启用 Spark 指标

Enable Spark metric in LucidWorks Fusion

solr

lucidworks

apache-spark