docker 容器上的 HDFS - 可能吗?

HDFS on docker containers - is it possible?

我们正在使用基于 HDP 版本的 Hadoop 集群 - 2.6.5 和 ambari 平台

我们想知道是否可以在 docker 容器上使用以下 HDFS 组件:

1. journal nodes 
2. ZK fail controller
3. NameNode ( HA with active namenode and standby namenode )

经过一些搜索,我们没有在 docker 个容器上找到太多关于 HDFS 的文档

所以我假设 docker 容器上的 HDFS 不是很好的实现

我很乐意得到更多关于这个的想法?

据我所知,Cloudera 没有此类文档。他们可能正在开发未来的 Kubernetes 产品,但这只是我所听到的。

是的,可以使用 Docker,但任何主要的 Hadoop 供应商都不会支持它,并且可能很难处理围绕它的网络和存储要求。

MinIO would arguably be a better alternative than HDFS when using Docker