Apache Ambari 退休了。接下来是什么?

Apache Ambari retired. What next?

Apache Ambari 于 2022 年 1 月搬入 阁楼

所以 Apache Ambari 已经退休了,我知道唯一可靠的替代方案是 Cloudera Manager,但 Cloudera Manager 是一项付费服务​​,因此对中小型公司不是很有帮助。

现在有哪些工具可以帮助我们以正确的方式安装和管理 Hadoop 生态系统以在生产中上线?我们不希望以手动安装且难以管理的 Hadoop 生态系统告终。

Apache Ambari 有什么好的替代品吗?

这个问题分为几类...

配置

对于self-hosted个解决方案,答案是配置管理+自动化工具。

Ansible(+ AWX/Tower)、Puppet(+ Foreman 或类似)、Chef 等 file-management(config-as-code,GitOps 风格)。这比 Ambari 好得多,因为配置文件模板(和历史记录)实际上是在 VCS 中备份的,而不是像 Ambari(或 Cloudera Manager)那样分布在多个 HTML 输入框中。

使用 VMWare 之类的虚拟化或以其他方式在您的 data-center 中获取物理机器。

否则,所有 cloud-providers 都有自己的仪表板用于集群管理和配置以及弹性扩展。对于“中小型公司”,您应该关注您的业务问题,而不是基础设施维护,所以使用云。我个人使用过 EMR terraform 模块,对于基本集群来说相当简单(非生产,不需要维护很长时间)。
None 的云 Hadoop 产品使用 Ambari。

您之前有 ,为此,您可以只使用 Databricks 而不需要整个 Hadoop 集群。

监控小部件

Grafana.

Prometheus JMX Exporter 可以添加到所有的 Hadoop JVM 进程中。还可以为 CPU/Mem 主机使用和 TCP/HTTP 健康检查添加节点和黑盒导出器。

最近的 HDP 版本已经开始使用 Grafana 来显示指标,其中很多都复制了 Ambari 小部件。

Ambari 警报

例如 Prometheus AlertManager,但您可能需要更强大的功能,例如 NewRelic、DataDog 等

UI 查询函数(Ambari 视图)

HUE 可能是最接近文件浏览器、Hive 编辑器等的东西

你应该看看:

https://bigtop.apache.org/

Apache Bigtop - Bigtop is an Apache Foundation project for Infrastructure Engineers and Data Scientists looking for comprehensive packaging, testing, and configuration of the leading open source big data components. Bigtop supports a wide range of components/projects, including, but not limited to, Hadoop, HBase and Spark.