Hadoop 会取代 ETL 吗？

Question

现有流程 - 原始结构数据被复制到 Redshift 的暂存层中。然后使用Informatica、Telend等ETL工具，对Datamart/datawarehouse的Fact和Dimensiontable进行增量加载。所有连接都发生在数据库层（ETL 将查询推送到数据库）

Spark能否替代ETL工具，做同样的处理并将数据加载到Redshift中？

这种架构的优缺点是什么？

Answer 1

我们使用 ETL 来做这些事情：

1、将数据传输到数据库；

2、从数据库中获取数据并移动到其他space.

3、安排作业的时间 运行 .

4、查看作业依赖

恢复数据的Hadoop生态圈一直使用关系型数据库，所以ETL不会被替代，因为它们做的事情不同。