使用 IntelliJ idea 的 Scala 工作表作为 Apache Spark 的 Scala REPL
Use IntelliJ idea's Scala worksheet as a Scala REPL for Apache Spark
是否可以在 IntelliJ 中使用 Scala 工作表作为 Jupyter 笔记本的替代品。
我遵循了 here 提到的解决方案，但是它在本地而不是在远程集群上运行代码。我的主要挑战是 IntelliJ IDE 在我的笔记本电脑本地 运行 而 spark 集群在云端。我如何要求 IntelliJ 使用远程 SBT？
如果您只是尝试以更 interactive/adhoc 的方式学习 Spark 编程和概念的教程，您在 post 中提到的 link 就是您将如何做它。在那种模式下，您基本上是在模拟一个单节点 Spark 集群（即您的本地机器），它既充当驱动程序又充当执行程序节点（合二为一）。
但是，在更真实的场景中，这并不是您实际提交和 运行 实际 Spark 集群上的 Spark 应用程序的方式。如果这就是您想要做的，您需要改用 Spark 提供的两种 deployment 模式之一：客户端模式和集群模式。您将使用 "spark-submit" 命令行实用程序将已编译的 Spark 库（fat JAR）作为 Spark 作业提交。更多详情 here.
是否可以在 IntelliJ 中使用 Scala 工作表作为 Jupyter 笔记本的替代品。 我遵循了 here 提到的解决方案，但是它在本地而不是在远程集群上运行代码。我的主要挑战是 IntelliJ IDE 在我的笔记本电脑本地 运行 而 spark 集群在云端。我如何要求 IntelliJ 使用远程 SBT？
如果您只是尝试以更 interactive/adhoc 的方式学习 Spark 编程和概念的教程，您在 post 中提到的 link 就是您将如何做它。在那种模式下，您基本上是在模拟一个单节点 Spark 集群（即您的本地机器），它既充当驱动程序又充当执行程序节点（合二为一）。
但是，在更真实的场景中，这并不是您实际提交和 运行 实际 Spark 集群上的 Spark 应用程序的方式。如果这就是您想要做的，您需要改用 Spark 提供的两种 deployment 模式之一：客户端模式和集群模式。您将使用 "spark-submit" 命令行实用程序将已编译的 Spark 库（fat JAR）作为 Spark 作业提交。更多详情 here.