RAM 内存使用和管理:R 与 Power BI。为什么在同一台计算机上 Power Bi 似乎比 R 更好地处理大型数据集?

RAM memory usage and management: R vs Power BI. Why Power Bi seems to deal better with large datasets than R in the same computer?

这更像是一个与硬件相关的问题。在我的公司,我们同时使用 R(用于数据分析)和 Power BI(用于数据可视化)。我们在 R 中构建了一个资产来执行特定领域的计算,我们在 PowerBI 中显示输出,其中包含一些或多或少复杂的图形和计算字段。

我们最近不得不使用我们的 PC(HP 830 G5 - i58250U - 8Gb RAM)处理 2Gb/700 万条记录的数据集。在我们使用上述数据集进行计算期间,R 超时,而 Power BI 能够相对轻松地处理它。

我知道 R 主动使用 RAM 内存作为对象的临时存储,这可能是个问题。但为什么这不是 Power BI 的问题?我问这个问题的原因是想弄清楚在我们所有的笔记本电脑中增加 buying/installing 内存是否是一个好的解决方案。我们需要 R 和 Power BI 才能使我们的资产正常工作。

非常感谢!

再多的 RAM 也无法弥补高效代码的不足。在软件问题上投入硬件最初可能会有所帮助,但不会像好的代码那样扩展。在不了解您的特定用例的情况下,我能给出的最佳建议是利用更高效的库,例如 data.table,或 this piece.

中突出显示的其他有效解决方案之一

您还应该考虑在 parallell 中工作,为您的实例使用多个内核。 Power BI 可能会自动执行此操作,但在 R 中你必须明确说明。

小于10GB的文件,R应该没有问题。但是,如 article.

中强调的那样,超过 10 GB 需要一些解决方法