为什么 Flink 使用 Yarn?
Why does Flink use Yarn?
我正在深入研究 Flink 以了解如何在项目中使用它,并向创建者/高级思想家提出问题...为什么 Flink 使用 Yarn 作为默认资源管理器?
是否考虑过 Kubernetes?或者它是我们从 Yarn 开始的那些事情之一,它工作得很好......
我遇到过许多允许 Kubernetes 和 Yarn 一起工作的项目和文章,包括允许 yarn 与 Mesos 一起部署的 Myraid 项目(但我在 Kubernetes 上...)
我有一个非常大的计算集群,我使用了 2000 个左右的节点,我想使用 Flink 的超酷 CEP 功能,为 Kafka 基础设施提供支持(也部署到这个 kubernetes 环境中)。
我想了解使用 Yarn 作为 Flink 下的资源管理器背后的原因,以及是否有可能(通过对项目的一些努力和贡献)让 Kubernetes 成为 Yarn 的一个选择。
请注意 - 我是 Yarn 的新手 - 刚刚阅读有关它的内容。也是 Flink 的新手,正在学习部署和横向扩展架构。
Flink 与 YARN 无关。它也可以 运行 在 Apache Mesos 上,也有用户 运行 在 Kubernetes 上使用它。在当前版本(Flink 1.4.1)中,运行在 Kubernetes 中使用 Flink 时需要考虑一些事项(参见 talk by Patrick Lucas)。
Flink 社区目前也在努力改进 Flink 对容器设置的支持。这项工作称为 FLIP-6 并将包含在下一个版本 (Flink 1.5.0) 中。
我正在深入研究 Flink 以了解如何在项目中使用它,并向创建者/高级思想家提出问题...为什么 Flink 使用 Yarn 作为默认资源管理器?
是否考虑过 Kubernetes?或者它是我们从 Yarn 开始的那些事情之一,它工作得很好......
我遇到过许多允许 Kubernetes 和 Yarn 一起工作的项目和文章,包括允许 yarn 与 Mesos 一起部署的 Myraid 项目(但我在 Kubernetes 上...)
我有一个非常大的计算集群,我使用了 2000 个左右的节点,我想使用 Flink 的超酷 CEP 功能,为 Kafka 基础设施提供支持(也部署到这个 kubernetes 环境中)。
我想了解使用 Yarn 作为 Flink 下的资源管理器背后的原因,以及是否有可能(通过对项目的一些努力和贡献)让 Kubernetes 成为 Yarn 的一个选择。
请注意 - 我是 Yarn 的新手 - 刚刚阅读有关它的内容。也是 Flink 的新手,正在学习部署和横向扩展架构。
Flink 与 YARN 无关。它也可以 运行 在 Apache Mesos 上,也有用户 运行 在 Kubernetes 上使用它。在当前版本(Flink 1.4.1)中,运行在 Kubernetes 中使用 Flink 时需要考虑一些事项(参见 talk by Patrick Lucas)。
Flink 社区目前也在努力改进 Flink 对容器设置的支持。这项工作称为 FLIP-6 并将包含在下一个版本 (Flink 1.5.0) 中。