YARN 上 Spark 提交和 Flink 的 HDFS 路径
HDFS Path for Spark Submit and Flink on YARN
我使用 cloudera live vm，我有一个 hadoop 和 spral 独立集群。
现在我想用 spark submit 和 flink 运行 脚本提交我的工作。这也有效。但我的应用程序可以在 hdfs 中找到输入和输出文件的路径。
我将路径设置为：hdfs://127.0.0.1:50010/user/cloudera/outputs
我从这个端口得到的信息：
如何在java中设置hdfs的路径??
此致，
保罗
您不必设置 DataNode 主机的路径。在 "Overview" 页面上，您将看到 NameNode 的连接信息，这也是您必须连接到的地方。
我使用 cloudera live vm，我有一个 hadoop 和 spral 独立集群。
现在我想用 spark submit 和 flink 运行 脚本提交我的工作。这也有效。但我的应用程序可以在 hdfs 中找到输入和输出文件的路径。
我将路径设置为：hdfs://127.0.0.1:50010/user/cloudera/outputs
我从这个端口得到的信息：
如何在java中设置hdfs的路径??
此致， 保罗
您不必设置 DataNode 主机的路径。在 "Overview" 页面上，您将看到 NameNode 的连接信息，这也是您必须连接到的地方。