Azure 云中的 Spark 部署

Question

是否可以在没有 yarn 组件的情况下在 Azure 云中部署 spark 代码？提前致谢

Answer 1

是的，您可以在没有 Yarn 的情况下在 Azure HDInsight 中部署 Apache Spark 集群。

HDInsight 中的 Spark 集群包括集群上默认可用的以下组件。

1) 火花核心。包括 Spark Core、Spark SQL、Spark 流 API、GraphX 和 MLlib。

2)蟒蛇

3)李维

4)Jupyter 笔记本

5)飞艇笔记本

HDInsight 上的 Spark 集群还提供了一个 ODBC 驱动程序，用于从 BI 工具（例如 Microsoft Power BI 和 Tableau）连接到 HDInsight 中的 Spark 集群。

有关详细信息，请参阅以下站点，

Create an Apache Spark cluster in Azure HDInsight

Introduction to Spark on HDInsight

Answer 2

我认为没有 YARN.Refer HDInsight 文档

就无法部署 HDInsight 集群

• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-hadoop-introduction
• https://docs.microsoft.com/en-sg/azure/hdinsight/hdinsight-component-versioning

YARN 是 Hadoop 的资源管理器。在使用 HDInsight Spark 群集时，您是否有任何特殊原因不想使用 YARN？

如果想使用standalone模式，可以在使用Spark-submit命令提交job时修改master的位置url。

我在本地模式和 HDInsight 集群上使用 Spark-submit 在我的 repo 中有一些示例 https://github.com/NileshGule/learning-spark

可以参考

• 本地模式：https://github.com/NileshGule/learning-spark/blob/master/src/main/java/com/nileshgule/movielens/MovieLens.md
• HDInsight Spark 群集：https://github.com/NileshGule/learning-spark/blob/master/Azure.md