在 HDP 集群上创建服务的简单方法

Easy way to create services on HDP cluster

我们有一家公司拥有 HDP 2.6.4 集群和一个处理不同操作任务的外包/离岸团队。由于相当严格的数据访问策略,无法访问相当多的数据集。但是,我们确实需要它们能够 24/7 全天候监控和(理想情况下)执行不同的作业。

所以我作为大数据团队中的一员,可以让他们这样做,但无法访问数据。不确定 HDP 2.6 必须提供什么,我知道有一些工具可以让开发人员开发各种 API 端点,然后可以映射到不同的 ETL 作业/shell 脚本等等 从架构的角度来看,这是最佳方法吗?

我正在考虑为我们提供类似 Dreamfactory 的东西,但它是开源的,而且我可以 运行 在内部部署。有什么想法吗?

干杯!

DreamFactory 可以为大量数据库生成 REST API,其中包括 MySQL、Microsoft SQL Server、Oracle、PostgreSQL 和 MongoDB.除了 API,DreamFactory 还将为您的 API 自动生成一组广泛的交互式 Swagger 文档。您要连接数据库吗?