如何将 Zookeeper 与 Azure HDInsight Linux 集群一起使用?

How to use Zookeeper with Azure HDInsight Linux cluster?

显然我需要在其中一台集群机器上启动一个zookeeper服务器,然后我需要其他客户端机器连接到这个服务器。 我这样做的方法是我使用 ssh 连接到头节点,我在端口 2181 上找到了一个 zk 服务器 运行。所以,我使用 ifconfig 来获取机器的 IP 地址(例如 10.0.0.8)和然后我让我的工作节点连接到: 10.0.0.8:2181。 但是,我的 MR 作业现在已完成,但运行缓慢且输出不正确。我怀疑我在使用 Zookeeper 时做错了什么,特别是我没有按照教程进行操作并且即兴创作了我的步骤。

HDInsight 有多个 zookeeper 服务器。不确定指定一个是否可能是您所看到的问题的原因。

前一段时间我写了一个例子,它使用 Storm 写入 HBase(两个服务器都在同一个 Azure 虚拟网络上),作为配置的一部分,我必须为写入的组件指定三个 zookeeper 服务器到 hbase。 (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-storm-sensor-data-analysis/ 是文章。)

从簇头节点,您可能可以 ping zookeeper0、zookeeper1 和 zookeeper2 以找到每个的 IP 地址。