使用 Visual Studio 将 PySpark 作业发送到 HDInsight 群集?
Use Visual Studio to send PySpark jobs to HDInsight clusters?
不能 100% 确定这是否是适合我的问题的 stackexchange 站点,请随时提出移动建议。
我更喜欢在 IDE 中编程(目前主要使用 Spyder),但想通过 PySpark 使用 HDInsight Spark 集群。我假设 Visual Studio 支持这个,因为两者都来自 Microsoft,并且 Visual Studio 2017 可以访问 HDInsight 集群、ADLS 等,但似乎并非如此?我错过了什么吗?
我发现的最接近的事情是 link 关于在 Visual Studio 代码 中做我想做的事情 - 真的没有办法在Visual Studio 本身(还没有?)
是的,您可以通过安装 Visual Studio 的 HDInsight 工具来提交作业。详细步骤参考Install the HDInsight Tools and Submit interactive PySpark queries.
希望对您有所帮助。
目前只有 VSCode 为 python spark 作业与 HDInsight 进行了本机集成。
不能 100% 确定这是否是适合我的问题的 stackexchange 站点,请随时提出移动建议。
我更喜欢在 IDE 中编程(目前主要使用 Spyder),但想通过 PySpark 使用 HDInsight Spark 集群。我假设 Visual Studio 支持这个,因为两者都来自 Microsoft,并且 Visual Studio 2017 可以访问 HDInsight 集群、ADLS 等,但似乎并非如此?我错过了什么吗?
我发现的最接近的事情是 link 关于在 Visual Studio 代码 中做我想做的事情 - 真的没有办法在Visual Studio 本身(还没有?)
是的,您可以通过安装 Visual Studio 的 HDInsight 工具来提交作业。详细步骤参考Install the HDInsight Tools and Submit interactive PySpark queries.
希望对您有所帮助。
目前只有 VSCode 为 python spark 作业与 HDInsight 进行了本机集成。