对 Kafka 和 Mesos 使用相同的动物园管理员的问题

Question

我正尝试在我们的 8 节点集群上使用 Mesos 设置 Kafka 和 Spark，如下所示，但遇到问题 launching/starting Mesos Agent 使用 Mesos masters 的 zookeeper 端点。

在 3 个节点（server00、server01、server02）上安装和设置 Zookeeper（通过 $KAFKA_HOME/config/zookeeper.properties)
在所有 8 个节点上安装 Kafka 代理（并通过在其 $KAFKA_HOME/config/server 中设置以下属性将其指向 3 个动物园管理员.properties)

zookeeper.connect=server00:2181,server01:2181,server02:2181
在 3 个节点（server00、server01、server02）上安装 Mesos master 并更新 /etc/mesos/zk以下行：

zk://server00:2181,server01:2181,server02:2181/mesos
在所有 8 个节点上安装 Mesos 代理。
编辑所有其他服务器上的 /etc/mesos/zk 文件以包含以下行。

zk://server00:2181,server01:2181,server02:2181/mesos
如下所示在所有 3 个主服务器上启动 Mesos 主服务器（已验证所有 Mesos 主服务器都在运行ning 并且可以通过启动 http://server00:5050/#/、http: //server01:5050/#/, http://server02:5050/#/

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos
在所有 8 个服务器上启动 Mesos Agent。在 server00 上启动的示例：

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150 但是上面没有启动代理。

但是下面的命令让我觉得也许 master mesos 没有在 zookeepers 注册。

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150

任何人都可以阐明是否

我的配置不对或者
如果我必须为 Mesos 集群设置单独的动物园管理员？
我如何验证 Mesos master 是否正在向 zookeeper 注册？

一旦此设置生效，我打算运行在所有 8 个节点上启动。

Answer 1

在 Ubuntu 上，至少 /etc/mesos/zk 和 /etc/mesos 下的其他配置文件只能由 /usr/bin/mesos-init-wrapper 读取。因此你的主人没有看到你的 zk 配置。

您需要使用初始化脚本 (service mesos-master start) 启动它，手动运行包装器，或者使用 -zk 选项 mesos-master：

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos

`

对 Kafka 和 Mesos 使用相同的动物园管理员的问题

Issue using same zookeeper for Kafka and Mesos

apache-kafka

mesos

apache-zookeeper