如何将存储在 AWS S3 中的 jar 提交到本地 Spark？
How to submit jars stored in AWS S3 to Local Spark?
问题：如何将存储在AWS S3中的jar提交到Local Spark？
我正在寻找一种方法来将存储在 S3 中的 jar 提交到 Local Spark（而非 EMR）。
然而，当我调查这个时，我只看到如何将它提交到 EMR Spark 集群。
与我一直在寻找的方法最接近的答案在 link 中。
但是，上面的答案似乎只适用于 EMR。 （不是吗？我可能是错的。）
spark 文档 here 说：
Spark uses the following URL scheme to allow different strategies for
disseminating jars:
file: - Absolute paths and file:/ URIs are served by the driver’s HTTP
file server, and every executor pulls the file from the driver HTTP
server.
hdfs:, http:, https:, ftp: - these pull down files and JARs
from the URI as expected
local: - a URI starting with local:/ is
expected to exist as a local file on each worker node.
因此，只要您的 s3 存储桶是 public 并且您可以使用 URI 访问它，您就可以指定上述之一
问题：如何将存储在AWS S3中的jar提交到Local Spark？
我正在寻找一种方法来将存储在 S3 中的 jar 提交到 Local Spark（而非 EMR）。 然而，当我调查这个时，我只看到如何将它提交到 EMR Spark 集群。
与我一直在寻找的方法最接近的答案在 link 中。 但是，上面的答案似乎只适用于 EMR。 （不是吗？我可能是错的。）
spark 文档 here 说：
Spark uses the following URL scheme to allow different strategies for disseminating jars:
file: - Absolute paths and file:/ URIs are served by the driver’s HTTP file server, and every executor pulls the file from the driver HTTP server.
hdfs:, http:, https:, ftp: - these pull down files and JARs from the URI as expected
local: - a URI starting with local:/ is expected to exist as a local file on each worker node.
因此，只要您的 s3 存储桶是 public 并且您可以使用 URI 访问它，您就可以指定上述之一