如何从 Azure 数据工厂 运行 python egg(存在于 azure databricks 中)?
How to run python egg (present in azure databricks) from Azure data factory?
所以我创建了一个小的 pyspark 应用程序并将其转换为一个鸡蛋。将其上传到 dbfs:/FileStore/jar/xyz.egg。在 ADF 中,我使用了 jar activity。但是在 Main Class Name 文本框中,我不知道要提供什么。
我的Pycharm应用程序有三个文件,其中两个基本上是实用程序文件,包含我调用的实用程序函数,主文件的内容是:
Main.py
from CommonUtils import appendZeros
from sampleProgram import writedf
def main():
appendZeros('zzz')
writedf()
if __name__ == "__main__":
main()
现在要在 'Main class name' 文本框中指定什么?
注意:主要Class名字是"The full name of the class containing the main method to be executed. This class must be contained in a JAR provided as a library."
以下 table 描述了 JSON 定义中使用的 JSON 属性:
参考:“Transform data by running a Jar activity in Azure Databricks”。
希望对您有所帮助。
如果这回答了您的问题,请点击“标记为答案”并点击 "Up-Vote"。而且,如果您有任何进一步的疑问,请告诉我们。
所以我创建了一个小的 pyspark 应用程序并将其转换为一个鸡蛋。将其上传到 dbfs:/FileStore/jar/xyz.egg。在 ADF 中,我使用了 jar activity。但是在 Main Class Name 文本框中,我不知道要提供什么。
我的Pycharm应用程序有三个文件,其中两个基本上是实用程序文件,包含我调用的实用程序函数,主文件的内容是:
Main.py
from CommonUtils import appendZeros
from sampleProgram import writedf
def main():
appendZeros('zzz')
writedf()
if __name__ == "__main__":
main()
现在要在 'Main class name' 文本框中指定什么?
注意:主要Class名字是"The full name of the class containing the main method to be executed. This class must be contained in a JAR provided as a library."
以下 table 描述了 JSON 定义中使用的 JSON 属性:
参考:“Transform data by running a Jar activity in Azure Databricks”。
希望对您有所帮助。
如果这回答了您的问题,请点击“标记为答案”并点击 "Up-Vote"。而且,如果您有任何进一步的疑问,请告诉我们。