Docker容器中的Hadoop是faster/worth吗?
Is Hadoop in Docker container faster/worth it?
我有一个基于 Hadoop
的环境。我在这个系统中使用 Flume
、Hue
和 Cassandra
。现在围绕 Docker
进行了大肆宣传,所以想研究一下,在这种情况下,dockerization 的优缺点是什么。我认为它应该更便携,但只需单击几下即可使用 Cloudera Manager
进行设置。它可能更快还是为什么值得?有什么优势?
也许应该只是多节点 Cassandra
集群 dockerized?
Is it maybe faster or why is worth it?
听起来您已经有了一个 Hadoop 集群。所以你要问问自己,重现这个环境需要多长时间?您需要多久重现一次此环境?
如果您不需要一种方法来重复复制环境并包含可能与主机上其他应用程序冲突的依赖项,那么我还没有看到适合您的用例。
What are advantages?
如果您在 运行 Hadoop 环境中可能需要混合 Java 版本,那么 运行 它作为容器可以隔离依赖项(在这种情况下,Java) 来自主机系统。在某些情况下,它会为您提供更容易重现的工件,以便四处移动和设置。但是 Java 应用程序已经如此简单,所有依赖项都包含在 JAR 中。
Maybe should be only multi node Cassandra cluster dockerized?
我不认为这真的归结为是否是多节点环境。它归结为它解决的问题。听起来您在部署或复制 Hadoop 环境(目前)方面没有任何痛点,所以我认为没有必要 "dockerize" 仅仅因为它是热门的新事物。
当您确实需要轻松地重现 Hadoop 环境时,您可能会查看 Docker 一些编排和管理工具(Kubernetes、Rancher 等),它们可以部署和管理 Hadoop 的集群覆盖网络上的应用程序比常规 Docker 更令人垂涎欲滴。 Docker只是我眼中的工具。当您可以利用其他软件包在它之上构建的一些整洁的覆盖多主机网络、发现和编排时,它真正开始发光。
我有一个基于 Hadoop
的环境。我在这个系统中使用 Flume
、Hue
和 Cassandra
。现在围绕 Docker
进行了大肆宣传,所以想研究一下,在这种情况下,dockerization 的优缺点是什么。我认为它应该更便携,但只需单击几下即可使用 Cloudera Manager
进行设置。它可能更快还是为什么值得?有什么优势?
也许应该只是多节点 Cassandra
集群 dockerized?
Is it maybe faster or why is worth it?
听起来您已经有了一个 Hadoop 集群。所以你要问问自己,重现这个环境需要多长时间?您需要多久重现一次此环境?
如果您不需要一种方法来重复复制环境并包含可能与主机上其他应用程序冲突的依赖项,那么我还没有看到适合您的用例。
What are advantages?
如果您在 运行 Hadoop 环境中可能需要混合 Java 版本,那么 运行 它作为容器可以隔离依赖项(在这种情况下,Java) 来自主机系统。在某些情况下,它会为您提供更容易重现的工件,以便四处移动和设置。但是 Java 应用程序已经如此简单,所有依赖项都包含在 JAR 中。
Maybe should be only multi node Cassandra cluster dockerized?
我不认为这真的归结为是否是多节点环境。它归结为它解决的问题。听起来您在部署或复制 Hadoop 环境(目前)方面没有任何痛点,所以我认为没有必要 "dockerize" 仅仅因为它是热门的新事物。
当您确实需要轻松地重现 Hadoop 环境时,您可能会查看 Docker 一些编排和管理工具(Kubernetes、Rancher 等),它们可以部署和管理 Hadoop 的集群覆盖网络上的应用程序比常规 Docker 更令人垂涎欲滴。 Docker只是我眼中的工具。当您可以利用其他软件包在它之上构建的一些整洁的覆盖多主机网络、发现和编排时,它真正开始发光。