如何使用 .whl 文件调用 pyspark 代码?

How do I call pyspark code with .whl file?

我已经用poetry创建了一个wheel文件。 我正在 运行 执行 spark-submit 命令,但它不起作用。我想我错过了什么

spark-submit --py-files /path/to/wheel

请注意,我也参考了下面的内容,但由于我是 Python 的新手,所以没有得到太多细节。 how to pass python package to spark job and invoke main file from package with arguments

Wheel 文件可以作为下面 spark-submit 命令的一部分执行

spark-submit --deploy-mode 集群 --py-files /path/to/wheel main_file.py