将 spark-submit 命令（spark 应用程序的 dotnet）转换为 python 应用程序的 spark-submit 命令

Question

如果以下（有效的）spark-submit 命令（用于 Spark 应用程序的 dotnet）正在执行 python 脚本，它是否仍会使用相同的 --conf 设置？给定一个 myapp.py 的 python 脚本名称，它没有定义的函数（main 除外），--class 引用是什么python 脚本？

/opt/spark/bin/spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner \
   --conf "spark.eventLog.enabled=true" \
   --conf "spark.eventLog.dir=file:/usr/bin/spark/hadoop/logs" \
   --master spark://spark:7077 \
   /opt/spark/jars/microsoft-spark-3-1_2.12-2.0.0.jar \
   dotnet myapp.dll "somefilename.txt"

Answer 1

对于 Python 应用程序，只需传递一个 .py 文件，无需提及 class 名称

/opt/spark/bin/spark-submit \    
--conf "spark.eventLog.enabled=true" \
--conf "spark.eventLog.dir=file:/usr/bin/spark/hadoop/logs" \   
--master spark://spark:7077 \
/your python file path/myapp.py

更多信息，您可以参考https://spark.apache.org/docs/latest/submitting-applications.html

将 spark-submit 命令（spark 应用程序的 dotnet）转换为 python 应用程序的 spark-submit 命令

convert spark-submit command (dotnet for spark app) to spark-submit command for python app

apache-spark

pyspark

spark-submit

spark-dotnet