Spark 从客户端机器提交
Spark submit from client machine
我们在 linux 平台上实现了 hadoop。我们使用 scala spark 使用 spark 机器学习库开发模型。我只是使用 notepad++ 并创建 *.scala 文件并在数据节点上执行它们。我想知道我可以从我的本地机器（windows 机器）使用 eclipce 或 Intellij IDE 并连接到 spark 来测试 scala spark 脚本。
您可以使用基于浏览器的笔记本，例如 ipython 或特别是 jupyter（因为它支持 Scala）来测试您的脚本。但是，您需要按照以下说明将其连接到 Hadoop Spark：http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/
我们在 linux 平台上实现了 hadoop。我们使用 scala spark 使用 spark 机器学习库开发模型。我只是使用 notepad++ 并创建 *.scala 文件并在数据节点上执行它们。我想知道我可以从我的本地机器（windows 机器）使用 eclipce 或 Intellij IDE 并连接到 spark 来测试 scala spark 脚本。
您可以使用基于浏览器的笔记本，例如 ipython 或特别是 jupyter（因为它支持 Scala）来测试您的脚本。但是，您需要按照以下说明将其连接到 Hadoop Spark：http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/