Azure 数据工厂中的 Spark 提交

Spark submit in Azure Data Factory

我们如何在 Azure 数据工厂中集成 spark-scala JAR?我有一个用 Scala 构建的现有 Spark Jar,我需要从 ADF 调用它 - Spark Activity。

注意: 在 Azure 数据工厂中,entryFile 必须是 Pythonjar file,您需要先将 Scala 源代码编译为 jar 文件,然后 运行 作为 spark 应用程序。

参考: https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark