如何使用 Intellij Idea 与 Apache Spark 一起工作？
How to work with Apache Spark using Intellij Idea?
我想知道使用 Intellij Idea 使用 Apache Spark 的最佳方式是什么？ （特别针对 Scala 编程语言）
如果可以，请逐步说明。
感谢回答
关于在 Intellij Idea 上使用 Scala 设置 Spark 的教程很好
Tutorial Link
如果您遇到任何问题，请告诉我。
天下没有免费的午餐。我是 SQL 和 MLLib 领域的 Spark 贡献者，并且花了无数时间处理 Intellij 和 Spark 集成。你可以google "Whosebug intellij spark"，这会给出一个想法。
按照imAGin的建议看一些教程。使用 Whosebug 问题和答案（我自己输入了很多）。您将需要投入大量时间才能使其正常工作。不幸的是，这不是一次性的事情。 Spark 不断变化——包括它的依赖项和构建文件。所以这是一个困难的和移动目标。
使用 IntelliJ 设置 Scala 开发环境。参见 Scala - Getting Started。
- JDK 是必需的，因为 Scala 是一种 JVM 语言
sbt 是构建工具- IntelliJ 可以是 IDE
在Scala环境中，添加Spark依赖。参见 Spark - Getting Started。
- 使用
spark-submit 执行应用程序
这些链接提供了简单的工作示例，您可以扩展这些示例以编写自己的应用程序。
我想知道使用 Intellij Idea 使用 Apache Spark 的最佳方式是什么？ （特别针对 Scala 编程语言）
如果可以，请逐步说明。
感谢回答
关于在 Intellij Idea 上使用 Scala 设置 Spark 的教程很好
Tutorial Link
如果您遇到任何问题，请告诉我。
天下没有免费的午餐。我是 SQL 和 MLLib 领域的 Spark 贡献者，并且花了无数时间处理 Intellij 和 Spark 集成。你可以google "Whosebug intellij spark"，这会给出一个想法。
按照imAGin的建议看一些教程。使用 Whosebug 问题和答案（我自己输入了很多）。您将需要投入大量时间才能使其正常工作。不幸的是，这不是一次性的事情。 Spark 不断变化——包括它的依赖项和构建文件。所以这是一个困难的和移动目标。
使用 IntelliJ 设置 Scala 开发环境。参见 Scala - Getting Started。
- JDK 是必需的，因为 Scala 是一种 JVM 语言
sbt是构建工具- IntelliJ 可以是 IDE
在Scala环境中，添加Spark依赖。参见 Spark - Getting Started。
- 使用
spark-submit执行应用程序
- 使用
这些链接提供了简单的工作示例，您可以扩展这些示例以编写自己的应用程序。