使用本地 .jar 作为用 scala 编写的 spark 应用程序的依赖项
Use local .jar as a dependency for spark application written in scala
我正在构建一个 spark 应用程序以使用 aerospike-spark 客户端从 Aerospike 键值存储中获取数据。我已按照此处的说明 https://github.com/aerospike/aerospark 构建 .jar 文件。
现在，我计划在另一个 spark 应用程序中使用这个 .jar，方法是在 spark-submit 中将其提供为：
bin/spark-submit --罐子 my_jar.jar
现在，我应该在我的 build.sbt 文件中包含什么才能完成此操作？
在这种情况下，您希望将 aerospark 用作您自己的 spark 应用程序中的库。在 aerospark 项目中，您可以 运行 命令：sbt publish-local，这会将 jar 发布到 ivy2 本地存储库。
然后通过将 aerospike-spark 添加到 build.sbt 文件中的 libraryDependencies 来将 aerospike-spark 视为标准库。
我正在构建一个 spark 应用程序以使用 aerospike-spark 客户端从 Aerospike 键值存储中获取数据。我已按照此处的说明 https://github.com/aerospike/aerospark 构建 .jar 文件。
现在，我计划在另一个 spark 应用程序中使用这个 .jar，方法是在 spark-submit 中将其提供为：
bin/spark-submit --罐子 my_jar.jar
现在，我应该在我的 build.sbt 文件中包含什么才能完成此操作？
在这种情况下，您希望将 aerospark 用作您自己的 spark 应用程序中的库。在 aerospark 项目中，您可以 运行 命令：sbt publish-local，这会将 jar 发布到 ivy2 本地存储库。
然后通过将 aerospike-spark 添加到 build.sbt 文件中的 libraryDependencies 来将 aerospike-spark 视为标准库。