Deedle 在读取大型 csv 文件时抛出 System.OutOfMemoryException
Deedle throws System.OutOfMemoryException when reading large csv file
我很高兴几天前发现了 Deedle,它似乎是 NET 世界中数据分析的好工具。然而,我的一些数据在 csv 文件中,Frame.ReadCsv 方法对大约 200MB 或更大的文件抛出 System.OutOfMemoryException。我玩 Frame.ReadCsv 参数但没有成功。在某些情况下,我可以在加载到数据帧之前对数据进行预处理,但如果能够直接在 Deedle 中处理它们就更好了。 R 将这些文件加载到数据框中没有问题。
有什么推荐吗?
我遇到了 BigDeedle 示例,但它看起来并不简单,我想知道是否有不需要额外代码的更简单的解决方案。
谢谢!
使用
检查 64 位的 FSI 设置
let is64Bit = (System.IntPtr.Size = 8)
并配置Visual-Studio将FSI切换到64位,这里:
Tools -> Options -> F# Tools -> F# Interactive
我很高兴几天前发现了 Deedle,它似乎是 NET 世界中数据分析的好工具。然而,我的一些数据在 csv 文件中,Frame.ReadCsv 方法对大约 200MB 或更大的文件抛出 System.OutOfMemoryException。我玩 Frame.ReadCsv 参数但没有成功。在某些情况下,我可以在加载到数据帧之前对数据进行预处理,但如果能够直接在 Deedle 中处理它们就更好了。 R 将这些文件加载到数据框中没有问题。 有什么推荐吗?
我遇到了 BigDeedle 示例,但它看起来并不简单,我想知道是否有不需要额外代码的更简单的解决方案。 谢谢!
使用
检查 64 位的 FSI 设置let is64Bit = (System.IntPtr.Size = 8)
并配置Visual-Studio将FSI切换到64位,这里:
Tools -> Options -> F# Tools -> F# Interactive