Spark 1.5.0 spark.app.id 警告
Spark 1.5.0 spark.app.id warning
我已经更新了我的 CDH 集群以使用 spark 1.5.0。当我提交 spark 申请时，系统显示关于 spark.app.id
的警告
Using default name DAGScheduler for source because spark.app.id is not set.
我搜索了 spark.app.id 但没有相关文档。我读了这个 link，我认为它用于 RestAPI 调用。
我在 spark 1.4 中没有看到此警告。有人可以向我解释一下并展示如何设置吗？
它不一定用于 REST API，而是用于监视目的 e。 g 当您想检查每个示例的纱线日志时：
yarn logs <spark.app.id>
的确，这个具体问题还没有记录下来。我认为添加它是为了标准化 Hadoop 生态系统中的应用程序部署。
我建议您在您的应用中设置 'spark.app.id'。
conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course
尽管如此，这仍然是一个不会影响应用程序本身的警告。
我已经更新了我的 CDH 集群以使用 spark 1.5.0。当我提交 spark 申请时，系统显示关于 spark.app.id
Using default name DAGScheduler for source because spark.app.id is not set.
我搜索了 spark.app.id 但没有相关文档。我读了这个 link，我认为它用于 RestAPI 调用。
我在 spark 1.4 中没有看到此警告。有人可以向我解释一下并展示如何设置吗？
它不一定用于 REST API，而是用于监视目的 e。 g 当您想检查每个示例的纱线日志时：
yarn logs <spark.app.id>
的确，这个具体问题还没有记录下来。我认为添加它是为了标准化 Hadoop 生态系统中的应用程序部署。
我建议您在您的应用中设置 'spark.app.id'。
conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course
尽管如此，这仍然是一个不会影响应用程序本身的警告。