在 Docker 个容器上使用 Hadoop 和 Spark
Using Hadoop and Spark on Docker containers
我想在我的工作中使用大数据分析。我已经实现了所有 docker 在容器中创建容器的东西。然而,我是大数据的新手,我已经知道,当速度很重要时,将 Hadoop 用于 HDFS 并在 Hadoop 上使用 Spark 而不是 MapReduce 本身是网站和应用程序的最佳方式(是吗?)。这对我的 Docker 容器有效吗?如果有人可以指导我去某个地方了解更多信息,那将非常有帮助。
您可以尝试使用 Cloudera QuickStart Docker Image 开始。请看一下https://hub.docker.com/r/cloudera/quickstart/。此 docker 映像支持 Cloudera 的 Hadoop 平台和 Cloudera Manager 的单节点部署。此 docker 图像也支持 spark。
我想在我的工作中使用大数据分析。我已经实现了所有 docker 在容器中创建容器的东西。然而,我是大数据的新手,我已经知道,当速度很重要时,将 Hadoop 用于 HDFS 并在 Hadoop 上使用 Spark 而不是 MapReduce 本身是网站和应用程序的最佳方式(是吗?)。这对我的 Docker 容器有效吗?如果有人可以指导我去某个地方了解更多信息,那将非常有帮助。
您可以尝试使用 Cloudera QuickStart Docker Image 开始。请看一下https://hub.docker.com/r/cloudera/quickstart/。此 docker 映像支持 Cloudera 的 Hadoop 平台和 Cloudera Manager 的单节点部署。此 docker 图像也支持 spark。