使用开源技术生成 MIS 报告和仪表板
Generating MIS reports and dashboards using opensource technologies
我需要你对以下场景的建议：
我们的一个客户有 8 个用作 OLTP 的 postgres DB 服务器，现在想要生成 MIS reports/dashboards 集成服务器中的所有数据。
- 将生成大约 100 份报告
- 将有大约 50k 行添加到这些数据库中的每一个
- 每月生成一次报告
- 它们 运行 都是在裸机中设置的
- 他们不想使用 hadoop/spark ，因为他们认为可维护性会更高
- 他们想使用开源技术来完成这项任务
综上所述，一种方法是编写脚本将聚合数据导入一台服务器
然后使用前端 javascript 手动对报告进行编码。
有没有更好的方法使用 Talend、Pentaho 等 ETL 工具？
哪种 ETL 工具最适合这个？
任何 ETL 工具的社区版本都可以满足上述要求..?
我知道任何 ETL 工具的商业产品都不在预算中。
能否请您谈谈您对此的看法。
提前致谢
迪帕克
当然可以。我这辈子做过十几次类似的事情。
我的建议是使用Pentaho-Data-Integrator（或Talend）将数据收集到一个地方，然后过滤、聚合和格式化数据。只要你有一台像样的服务器，数据量不是问题。
对于报告，我建议使用 Pentaho-Report-Designer 生成它们，以便它们可以通过邮件发送（使用 Pentaho-DI）或使用 Pentaho-BI-server 分发。
您还可以使用 Pentaho-CDE 制作 javascript 前端。
所有这些工具都成熟、健壮、易于使用，有社区版本并得到社区的大力支持。
我需要你对以下场景的建议：
我们的一个客户有 8 个用作 OLTP 的 postgres DB 服务器，现在想要生成 MIS reports/dashboards 集成服务器中的所有数据。 - 将生成大约 100 份报告 - 将有大约 50k 行添加到这些数据库中的每一个 - 每月生成一次报告 - 它们 运行 都是在裸机中设置的 - 他们不想使用 hadoop/spark ，因为他们认为可维护性会更高 - 他们想使用开源技术来完成这项任务
综上所述，一种方法是编写脚本将聚合数据导入一台服务器 然后使用前端 javascript 手动对报告进行编码。 有没有更好的方法使用 Talend、Pentaho 等 ETL 工具？ 哪种 ETL 工具最适合这个？ 任何 ETL 工具的社区版本都可以满足上述要求..?
我知道任何 ETL 工具的商业产品都不在预算中。
能否请您谈谈您对此的看法。
提前致谢 迪帕克
当然可以。我这辈子做过十几次类似的事情。
我的建议是使用Pentaho-Data-Integrator（或Talend）将数据收集到一个地方，然后过滤、聚合和格式化数据。只要你有一台像样的服务器，数据量不是问题。
对于报告，我建议使用 Pentaho-Report-Designer 生成它们，以便它们可以通过邮件发送（使用 Pentaho-DI）或使用 Pentaho-BI-server 分发。
您还可以使用 Pentaho-CDE 制作 javascript 前端。
所有这些工具都成熟、健壮、易于使用，有社区版本并得到社区的大力支持。