HDInsight 版本相同但集群类型不同的不同集群共享 Hive Metastore

Hive Metastore shared by different clusters of same HDInsight version but different cluster type

根据 Microsoft 的 article,所有指向外部共享 Hive Metastore 的集群都必须具有相同的 HDInsight 版本。这是否意味着群集可以是不同类型,只要它们具有相同的 HDInsight 版本?因为对于相同的 HDInsight 版本,群集类型可以是 Hadoop、Spark、Interactive Query 等。

自定义 Metastore 允许您将多个集群和集群类型附加到该 Metastore。例如,可以在 HDInsight 中跨交互式查询、Hive 和 Spark 群集共享单个元存储。

示例:如果你的Hadoop集群有HDI 3.6,它可以与HDI 3.6版本的Spark集群共享。

要记住的要点:

  • 如果您跨多个集群共享一个 Metastore,请确保所有 群集是相同的 HDInsight 版本。不同的 Hive 版本使用 不同的 Metastore 数据库模式。

  • 您不能在 Hive 2.1 和 Hive 3.1 版本之间共享 Metastore 集群。示例:您不能与 HDInsight 4.0 共享 Hive 元存储,并且 HDInsight 3.6.

希望对您有所帮助。