如何在代码中设置纱线客户端？
How to setup yarn client in code?
我想 运行 我的 spark 应用程序在我的 hortonworks 数据平台上。在这个设置中，我没有独立的 spark master 我想 运行 作为 yarn 客户端。
我正在尝试像这样创建 SparkSession：
SparkSession
.builder()
.master("yarn-client")
.appName("my-app")
.getOrCreate())
我知道我缺少一些属性来让我的 yarn 服务器所在的客户端启动 运行ning，但我似乎找不到这些属性。
目前应用程序只是挂起，没有错误或异常。
知道我遗漏了什么吗？
您的 Hortonworks HDP 在其他地方时，您似乎正试图在本地 运行 您的应用程序。
Unlike Spark standalone and Mesos modes, in which the master’s address
is specified in the --master parameter, in YARN mode the
ResourceManager’s address is picked up from the Hadoop configuration.
所以您的应用程序应该 运行 来自 Hortonworks 本身，它具有所有 Hadoop 配置。
我想 运行 我的 spark 应用程序在我的 hortonworks 数据平台上。在这个设置中，我没有独立的 spark master 我想 运行 作为 yarn 客户端。
我正在尝试像这样创建 SparkSession：
SparkSession
.builder()
.master("yarn-client")
.appName("my-app")
.getOrCreate())
我知道我缺少一些属性来让我的 yarn 服务器所在的客户端启动 运行ning，但我似乎找不到这些属性。
目前应用程序只是挂起，没有错误或异常。
知道我遗漏了什么吗？
您的 Hortonworks HDP 在其他地方时，您似乎正试图在本地 运行 您的应用程序。
Unlike Spark standalone and Mesos modes, in which the master’s address is specified in the --master parameter, in YARN mode the ResourceManager’s address is picked up from the Hadoop configuration.
所以您的应用程序应该 运行 来自 Hortonworks 本身，它具有所有 Hadoop 配置。