新的 Spark StreamingContext 因 hdfs 错误而失败

Question

我正在使用通过 Azure ACS 安装的 dcos，并使用默认选项通过 dcos 工具安装 hdfs 和 spark。

创建 SparkStreamingContext 提供：

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Exception in thread "main" java.lang.IllegalArgumentException:
java.net.UnknownHostException: namenode1.hdfs.mesos

我希望我必须使用 dcos package install 和 –options= 重新部署 spark 包，但无法弄清楚 hdfs.config-url 应该是什么。 https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfs 文档似乎已过时。

Answer 1

是的，它已经过时了。我们会解决这个问题。

DC/OS HDFS 现在在 http://hdfs.marathon.mesos:[port]/v1/connect

上提供其配置

新的 Spark StreamingContext 因 hdfs 错误而失败

new Spark StreamingContext failes with hdfs errors

hdfs

apache-spark

mesosphere

dcos