搭建端到端的数据分析平台

Question

我需要创建一个端到端平台：

1. 输入数据收集和存储 - 数据将通过 FTP 定期收集并存储在云端。
2. 数据分析 - 将分析数据（使用 Tableau/任何其他分析软件）
3. 报告 - 根据不断变化的输入数据生成每日和每月报告。

我需要决定我可以将哪个 tool/technology 用于此解决方案，以及如何为他们 运行 24*7.

在线托管 scripts/processes

我的一个想法是使用 AWS 和 Tableau：

1. 用于数据收集 - 在 Amazon ECS 控制台中安排 cron 作业
2. 用于存储 - 在 AWS 上存储 - 可能是 Amazon S3 存储） 但是在加载到 Amazon S3 之前，我可以选择 format/change 数据吗？
3. 使用 Tableau 创建仪表板。 但这将需要多个 Tableau 会话，因为不同报告的数据源不同。此外，我需要定期将这些 reports/dashboard 以电子邮件格式发送给用户。可以在 AWS 中完成吗？

但是，我认为 AWS 解决方案对公司来说成本高昂。还有哪些其他解决方法？

抱歉，我是这个领域的新手，很难找到一个具有成本效益的解决方案。

Answer 1

查看构建 AWS 无服务器架构。 S3 > lambda > Athena > quicksight

使用 lambda 函数以所需格式转换进入 s3 的数据。

使用 Athena 对数据进行分区和查询，并创建表和数据库。

使用画面提取或更好地使用 quicksight。

收费取决于数据量。该解决方案每月花费不到 10 美元并支持 10 个用户，但这是一个没有任何变量的模糊估计。