从终端在 Spark scala 中添加外部库
Add external libraries in Spark scala from terminal
我正在尝试为 spark 添加外部库,因为我已尝试将这些库放入 /usr/lib/spark/lib
。当我成功添加库后
运行 我的代码出现 错误:未找到 。
我不知道还有什么地方可以放置 jar 文件,我使用的是 CDH 5.7.0
我在深入挖掘后找到了解决方案,我通过在从终端打开 spark shell 时添加罐子来解决这个问题。
我使用了以下代码:
spark-shell --jars "dddd-xxx-2.2.jar,xxx-examples-2.2.jar"
我正在尝试为 spark 添加外部库,因为我已尝试将这些库放入 /usr/lib/spark/lib
。当我成功添加库后
运行 我的代码出现 错误:未找到 。
我不知道还有什么地方可以放置 jar 文件,我使用的是 CDH 5.7.0
我在深入挖掘后找到了解决方案,我通过在从终端打开 spark shell 时添加罐子来解决这个问题。
我使用了以下代码:
spark-shell --jars "dddd-xxx-2.2.jar,xxx-examples-2.2.jar"