当 运行 Flink on Mesos/Marathon 时将自定义参数传递给 docker
Passing custom parameters to docker when running Flink on Mesos/Marathon
我的团队正在尝试在 Mesos/Marathon 上设置 Apache Flink (v1.4) 集群。我们正在使用 the docker image provided by mesosphere。它真的很好用!
由于新要求,任务管理器必须以扩展运行时权限启动。我们可以通过 Marathon web UI 轻松为应用程序管理器启用此运行时权限。但是,我们找不到为任务管理器启用权限的方法。
在Apache Spark中,我们可以在Spark的配置文件中设置spark.mesos.executor.docker.parameters privileged=true
。因此,Spark 可以将此参数传递给 docker run
命令。我想知道 Apache Flink 是否允许我们在启动任务管理器时将自定义参数传递给 docker run
。如果没有,我们如何启动具有扩展运行时权限的任务管理器?
谢谢
不幸的是,目前这是不可能的(或者正如 Tobi 指出的那样,仅适用于框架调度程序)。
我继续为此功能创建了一个 Jira,因此您可以自己保留 track/add details/contribute:https://issues.apache.org/jira/browse/FLINK-8490
您应该能够调整 https://github.com/mesoshq/flink-framework/blob/master/index.js 的 ContainerInfo 中的参数设置以支持此功能。我最终会更新 Docker 图像中的 Flink 版本...
this commit 中引入了一个新参数 mesos.resourcemanager.tasks.container.docker.parameters
,它允许将任意参数传递给 Docker。
我的团队正在尝试在 Mesos/Marathon 上设置 Apache Flink (v1.4) 集群。我们正在使用 the docker image provided by mesosphere。它真的很好用!
由于新要求,任务管理器必须以扩展运行时权限启动。我们可以通过 Marathon web UI 轻松为应用程序管理器启用此运行时权限。但是,我们找不到为任务管理器启用权限的方法。
在Apache Spark中,我们可以在Spark的配置文件中设置spark.mesos.executor.docker.parameters privileged=true
。因此,Spark 可以将此参数传递给 docker run
命令。我想知道 Apache Flink 是否允许我们在启动任务管理器时将自定义参数传递给 docker run
。如果没有,我们如何启动具有扩展运行时权限的任务管理器?
谢谢
不幸的是,目前这是不可能的(或者正如 Tobi 指出的那样,仅适用于框架调度程序)。
我继续为此功能创建了一个 Jira,因此您可以自己保留 track/add details/contribute:https://issues.apache.org/jira/browse/FLINK-8490
您应该能够调整 https://github.com/mesoshq/flink-framework/blob/master/index.js 的 ContainerInfo 中的参数设置以支持此功能。我最终会更新 Docker 图像中的 Flink 版本...
this commit 中引入了一个新参数 mesos.resourcemanager.tasks.container.docker.parameters
,它允许将任意参数传递给 Docker。