将 jar 添加到 spark-submit 以便在 Hive 中使用它

Question

我正在尝试在我的 Spark 代码中执行一个 Hive 查询，但我需要使用一个 jar 库来使用 Hive 执行这个查询，因为我已经用这个 jar 创建了 table，所以要查询table 我必须导入它。我的 Spark 代码：

val hiveContext=...
hiveContext.sql("ADD JAR hive-jdbc-handler-2.3.4.jar")
hiveContext.sql("SELECT * FROM TABLE")

继上一个问题之后：How to add jar using HiveContext in the spark job 我已将参数添加到我的 spark-submit 中：

--jar "LOCAL PATH to hive-jdbc-handler-2.3.4.jar"

在我的应用程序日志中，我收到以下消息：

18/08/02 14:10:41,271 | INFO | 180802140805 | SessionState         | Added   [hive-jdbc-handler-2.3.4.jar] to class path
18/08/02 14:10:41,271 | INFO | 180802140805 | SessionState         | Added resources: [hive-jdbc-handler-2.3.4.jar]
18/08/02 14:10:42,179 | ERROR | 180802140805 | org.apache.hive.storage.jdbc.dao.GenericJdbcDatabaseAccessor | Error while trying to get column names.
org.apache.commons.dbcp.SQLNestedException: Cannot load JDBC driver class 'org.postgresql.Driver'

请注意，我想在集群中执行我的应用程序。我能做什么？

Answer 1

我尝试添加一个 jar 以在 Spark 中使用它的方式是正确的（不需要在集群模式下使用方法 "addFile"）。我收到的错误是由于我使用的 jar 已损坏；我把我的罐子换成了一个新罐子，它起作用了。

将 jar 添加到 spark-submit 以便在 Hive 中使用它

Add jar to spark-submit for using it in Hive

hive

scala

apache-spark

spark-submit