为什么我无法连接到 Hive Metastore？

Question

因此，我在我的项目中使用了 gcloud dataproc、Hive 和 Spark，但我显然无法连接到 Hive metastore。

我已正确填充 tables，并且所有数据都在那里，例如，我现在尝试访问的 table 是图像上的下一个，如您所见镶木地板文件在那里（存储为镶木地板）。 Sparktp2-m是dataproc cluster的主人。

接下来，我在 IntelliJ 上有一个项目，将对其进行一些查询，但首先我需要访问此 hive 数据，但进展不顺利。我正在尝试像这样访问它：

SparkSession spark = SparkSession
            .builder()
            .appName("Check")
            .config("hive.metastore.uris","thrift://hive-metastore:9083")
            .enableHiveSupport()
            .getOrCreate();

    JavaPairRDD<Tuple2<Object, String>, Integer> mr = spark.table("title_basics_parquet").toJavaRDD()...

接下来，我构建 jar 并将其作为作业发送，如下所示：

gcloud dataproc jobs submit spark --jars target/GGCD_Spark-1.0-SNAPSHOT.jar --class parte1.Queries --cluster sparktp2 --region europe-west1

错误是：

我是不是遗漏了什么，或者是错误的 URI?

Answer 1

默认的 Hive Metastore thrift://<master-node-hostname>:9083。

为什么我无法连接到 Hive Metastore？

Why can't I connect to Hive metastore?

apache-spark

hive

gcloud

google-cloud-dataproc