为 Azure Kafka 配置灾难恢复和自动故障转移?

Configure disaster recovery and automatic failover for Azure Kafka?

我们在美国东部的 Azure HDInsight 上配置了我们的 kafka 运行,我们的热备份区域是美国西部。

如何配置 Azure HDInsight 以支持具有自动故障转移的灾难恢复?它会影响连接字符串吗?

Azure HDInsight 采用独特的体系结构开发,可确保关键服务的高可用性 (HA)。此体系结构的某些组件由 Microsoft 开发,用于提供自动故障转移。其他组件是为支持特定服务而部署的标准 Apache 组件。

本文article解释了 HDInsight 中 HA 服务模型的体系结构、HDInsight 如何支持 HA 服务的故障转移,以及从其他服务中断中恢复的最佳做法。

For Azure HDInsight Kafka clusters, you can use Kafka's mirroring feature to replicate Apache Kafka topics with Kafka on Azure HDInsight.

What is Kafka mirroring?

Kafka 的镜像功能可以维护现有 Kafka 集群的副本。

How Apache Kafka mirroring works?

镜像通过使用 MirrorMaker 工具(Apache Kafka 的一部分)来使用主集群上主题的记录,然后在辅助集群上创建本地副本。 MirrorMaker 使用一个(或多个)从主集群读取的消费者,以及一个写入本地(辅助)集群的生产者。

最有用的灾难恢复镜像设置利用不同 Azure 区域中的 Kafka 集群。为实现这一点,集群所在的虚拟网络是对等的。

下图说明了镜像过程以及集群之间的通信方式:

详情请参考Use MirrorMaker to replicate Apache Kafka topics with Kafka on HDInsight and Big data streaming: Choices for high availability and disaster recovery on Microsoft Azure