我可以将 Cloud Dataproc 与外部 Hive Metastore 一起使用吗？

Question

默认情况下，Cloud Dataproc 运行 Dataproc 集群本地的 Hive Metastore。这意味着：

1. Metastore 在集群中是短暂的

2. 使用单个 Metastore 拥有多个集群可能会很痛苦

是否可以将 Dataproc 集群指向单个 Hive 元存储？是否也可以让 Metastore 位于集群之外，这样 运行 不需要 Metastore 的集群？

Answer 1

是的，这是可能的 - 集群可以在 Cloud SQL.

上使用公共元存储 运行

Cloud Dataproc 集群可以使用这个Cloud SQL Proxy to connect to the external SQL metastore. Before using this solution, you should review the important notes。