云数据融合与 Dataproc

Cloud Data Fusion vs Dataproc

Cloud Data Fusion 提供了使用其图形管道 UI 表示创建 ETL 作业的能力,而 Dataproc 允许我们 运行 之前创建的 Spark/Hadoop/Hive 个作业。

由于我在这两种服务方面的经验有限,我发现 Cloud Data Fusion 在这两种服务中更易于使用和管理。我想知道在 Dataproc 中创建和 运行ning 作业优于 Cloud Data Fusion 的用例。

你征求了意见,所以你的问题应该被关闭...

总之,主要看你喜欢什么!如果您是一名开发人员,并且想要处理、管理 customize/tweak 您的管道的所有步骤,出于性能、可观察性或安全原因,代码和 Dataproc 更适合您。如果您的所有开发人员都已经了解 Hadoop 生态系统,原因相同。

如果您更喜欢使用 low/no 代码解决方案专注于数据 transformation/wrangling,数据融合适合您。特别是如果您没有或只有很少的开发技能(业务用户)。

最后,所有管道都将 运行 在 Dataproc 上。