找不到 hbase spark 模块

Question

我正在尝试从 spark 访问 hbase。

spark = (
    SparkSession.builder.master("yarn")
    .appName(app_name)
    .config("spark.jars.packages", "org.apache.hbase:hbase-spark:1.2.0-cdh5.16.2")
    .getOrCreate()
)

但我收到错误消息：

module not found: org.apache.hbase#hbase-spark;1.2.0-cdh5.16.2

该页面存在于 maven 上：https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark/1.2.0-cdh5.16.2

可能是什么问题？

Answer 1

如本页所述：

this artifact it located at Cloudera repository (https://repository.cloudera.com/artifactory/cloudera-repos/)

虽然默认情况下 Spark 仅从 Maven Central 和 Spark Packages 存储库解析。

您需要在命令行中将此 URL 作为 --repositories 传递，或者在通过 spark.jars.ivySettings 设置传递的 Ivy 配置文件中指定它。参见 Spark documentation for more details。

找不到 hbase spark 模块

hbase spark module not found

maven

apache-spark

hbase