Azure 数据工厂中的 Spark 提交
Spark submit in Azure Data Factory
我们如何在 Azure 数据工厂中集成 spark-scala JAR?我有一个用 Scala 构建的现有 Spark Jar,我需要从 ADF 调用它 - Spark Activity。
注意: 在 Azure 数据工厂中,entryFile 必须是 Python 或 jar file,您需要先将 Scala 源代码编译为 jar 文件,然后 运行 作为 spark 应用程序。
参考: https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark
我们如何在 Azure 数据工厂中集成 spark-scala JAR?我有一个用 Scala 构建的现有 Spark Jar,我需要从 ADF 调用它 - Spark Activity。
注意: 在 Azure 数据工厂中,entryFile 必须是 Python 或 jar file,您需要先将 Scala 源代码编译为 jar 文件,然后 运行 作为 spark 应用程序。
参考: https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark