如何使用 .whl 文件调用 pyspark 代码?
How do I call pyspark code with .whl file?
我已经用poetry创建了一个wheel文件。
我正在 运行 执行 spark-submit 命令,但它不起作用。我想我错过了什么
spark-submit --py-files /path/to/wheel
请注意,我也参考了下面的内容,但由于我是 Python 的新手,所以没有得到太多细节。
how to pass python package to spark job and invoke main file from package with arguments
Wheel 文件可以作为下面 spark-submit 命令的一部分执行
spark-submit --deploy-mode 集群 --py-files /path/to/wheel main_file.py
我已经用poetry创建了一个wheel文件。 我正在 运行 执行 spark-submit 命令,但它不起作用。我想我错过了什么
spark-submit --py-files /path/to/wheel
请注意,我也参考了下面的内容,但由于我是 Python 的新手,所以没有得到太多细节。 how to pass python package to spark job and invoke main file from package with arguments
Wheel 文件可以作为下面 spark-submit 命令的一部分执行
spark-submit --deploy-mode 集群 --py-files /path/to/wheel main_file.py