创建一个 Google Dataproc 集群并连接到外部远程 Hive 元存储

Question

我正在尝试创建一个 dataproc 集群并指向一个远程 Hive 元存储，以便从此集群访问 Hive 表。我正在使用以下创建集群命令来创建连接到远程 Hive 元存储的 Dataproc 2.0 集群：

创建集群命令：

gcloud dataproc clusters create wl1-cluster-1 \
--region us-east1 \
--subnet projects/shared-vpc-admin/regions/us-east1/subnetworks/dev-us-east1-01 \
--enable-component-gateway \
--no-address \
--scopes 'https://www.googleapis.com/auth/cloud-platform' \
--master-machine-type n1-standard-32 \
--master-boot-disk-size 1000 \
--num-workers 10 \
--worker-machine-type n1-standard-32 \
--worker-boot-disk-size 1000 \
--image-version 2.0-debian10 \
--properties 'spark:spark.sql.hive.metastore.version=2.3.0,spark:spark.sql.hive.metastore.jars=maven,hive:hive.metastore.schema.verification=false,hive:javax.jdo.option.ConnectionURL=jdbc:mysql://test-mysql.gcp-dev.glb.us.mycompany.net:3306/metastore,hive:javax.jdo.option.ConnectionUserName=metastore,hive:javax.jdo.option.ConnectionPassword=XXXX' \
--project sample_gcp_project

但是在步骤 activate-component-hive-metastore 中它失败了。

错误信息：

<13>Sep 10 05:47:06 google-dataproc-startup[1734]: <13>Sep 10 05:47:06 activate-component-hive-metastore[3064]: nc: connect to wl1-cluster-1-m port 9083 (tcp) failed: Connection refused
<13>Sep 10 05:47:07 google-dataproc-startup[1734]: <13>Sep 10 05:47:07 activate-component-hive-metastore[3064]: nc: connect to wl1-cluster-1-m port 9083 (tcp) failed: Connection refused
<13>Sep 10 05:47:07 google-dataproc-startup[1734]: <13>Sep 10 05:47:07 activate-component-hive-metastore[3064]: 'nc -v -z -w 1 wl1-cluster-1-m 9083' attempt 23 failed! Sleeping 1s.

几个问题：

这是在创建集群时连接到远程 Hive Metastore 的正确且唯一的方法吗？
我可以通过从该集群提交的 spark 作业访问 hive 元存储，而不是配置连接到远程 hive metastore 的集群。你能给我指出正确的方向吗？
有没有其他方法可以解决这个问题？

Answer 1

默认情况下，Dataproc 集群的第（1）个主节点上有一个 Metastore 服务运行，默认端口为 9083，Hive Server2 配置为使用它。在/etc/hive/conf/hive-site.xml中，您会发现：

  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://<master-hostname>:9083</value>
  </property>

如果您需要集群的 HiveServer2：

要使用另一个集群的Metastore，设置--properties hive:hive.metastore.uris=thrift://<another-cluster-master-hostname>:9083。
或使用托管 Dataproc Metastore 服务，请遵循此 instruction，例如：

gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION

clusters/Metastore 需要在同一个 VPC 网络中才能通过内部 IP（或主机名）相互通信。

集群中的 Spark 自动配置为使用 Hive 配置 hive.metastore.uris 来查找 Metastore，您不需要在 Spark 代码中进行任何额外的配置。

创建一个 Google Dataproc 集群并连接到外部远程 Hive 元存储

Create a Google Dataproc cluster and connect to an external remote Hive metastore

apache-spark

hive

google-cloud-dataproc

hive-metastore