如何从 Azure 数据工厂 运行 python egg(存在于 azure databricks 中)?

How to run python egg (present in azure databricks) from Azure data factory?

所以我创建了一个小的 pyspark 应用程序并将其转换为一个鸡蛋。将其上传到 dbfs:/FileStore/jar/xyz.egg。在 ADF 中,我使用了 jar activity。但是在 Main Class Name 文本框中,我不知道要提供什么。

我的Pycharm应用程序有三个文件,其中两个基本上是实用程序文件,包含我调用的实用程序函数,主文件的内容是:

Main.py

from CommonUtils import appendZeros
from sampleProgram import writedf


def main():
    appendZeros('zzz')
    writedf()


if __name__ == "__main__":
    main()

现在要在 'Main class name' 文本框中指定什么?

注意:主要Class名字是"The full name of the class containing the main method to be executed. This class must be contained in a JAR provided as a library."

以下 table 描述了 JSON 定义中使用的 JSON 属性:

参考:“Transform data by running a Jar activity in Azure Databricks”。

希望对您有所帮助。


如果这回答了您的问题,请点击“标记为答案”并点击 "Up-Vote"。而且,如果您有任何进一步的疑问,请告诉我们。