执行者在 Spark 独立部署中失败
Executors are failing in Spark standalone deployment
我在本地 windows 机器上 运行 spark。当我将 master 设置为本地时它工作得很好但是当我给它一个集群主 uri 时，它会为它启动的每个执行程序抛出以下异常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)
我正在本地尝试 spark 独立环境。所以我启动了一个master节点和worker节点，并将masterurl交给了我的驱动程序。我确保我的 SPARK_HOME 环境变量设置为 C:\Spark（我放置 spark 的位置）。
任何解决此问题的帮助将不胜感激，谢谢。
我以某种方式设法找到了解决此问题的方法。这个问题是spark home的路径变量引起的，我添加路径变量%SPARK_HOME%\bin的时候没有pick SPARK_HOME(environment variable)。然后我删除了那个环境变量和路径变量，再次添加它们并重新启动我的系统。成功了。
我在本地 windows 机器上 运行 spark。当我将 master 设置为本地时它工作得很好但是当我给它一个集群主 uri 时，它会为它启动的每个执行程序抛出以下异常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)
我正在本地尝试 spark 独立环境。所以我启动了一个master节点和worker节点，并将masterurl交给了我的驱动程序。我确保我的 SPARK_HOME 环境变量设置为 C:\Spark（我放置 spark 的位置）。
任何解决此问题的帮助将不胜感激，谢谢。
我以某种方式设法找到了解决此问题的方法。这个问题是spark home的路径变量引起的，我添加路径变量%SPARK_HOME%\bin的时候没有pick SPARK_HOME(environment variable)。然后我删除了那个环境变量和路径变量，再次添加它们并重新启动我的系统。成功了。