如何将自己搭建的Breeze添加到Apache Spark中?
How to add the Breeze which is build by myself to Apache Spark?
我在 Breeze 库中添加了一些方法,我可以通过 IDE 查看这些方法。我试图将自己构建的 Breeze 库添加到我基于 Apache Spark 的项目中。但是,当我通过命令 "sbt assembly" 和 运行 将我的项目打包到我的集群时,它会抛出一个错误 "no such method xxx" 这意味着集群实际上没有 运行 我的 Breeze 库.那么谁能告诉我如何使集群 运行 成为我自己构建的 Breeze 库?
我猜测 spark 使用了某些版本的 Breeze 库本身,并且比您在程序集中自定义的 .jars 更喜欢它们。您可以尝试使用自定义库构建 spark。在本地 Maven 存储库中安装您的库,在 apache spark 的 pom.xml
中指定它并构建您自己的 spark 版本。
我在 Breeze 库中添加了一些方法,我可以通过 IDE 查看这些方法。我试图将自己构建的 Breeze 库添加到我基于 Apache Spark 的项目中。但是,当我通过命令 "sbt assembly" 和 运行 将我的项目打包到我的集群时,它会抛出一个错误 "no such method xxx" 这意味着集群实际上没有 运行 我的 Breeze 库.那么谁能告诉我如何使集群 运行 成为我自己构建的 Breeze 库?
我猜测 spark 使用了某些版本的 Breeze 库本身,并且比您在程序集中自定义的 .jars 更喜欢它们。您可以尝试使用自定义库构建 spark。在本地 Maven 存储库中安装您的库,在 apache spark 的 pom.xml
中指定它并构建您自己的 spark 版本。