如何快速将大型 txt 数据文件 (5GB) 读入 R(RStudio)（Centrino 2 P8600、4Gb RAM）
How to quickly read a large txt data file (5GB) into R(RStudio) (Centrino 2 P8600, 4Gb RAM)
我有一个大数据集，其中一个文件有5GB。有人可以建议我如何快速将其读入 R (RStudio) 吗？谢谢
如果您只有 4 GB 的 RAM，则无法放置 5 GB 的数据 'into R'。您也可以查看 High Perfomance Computing task view in R. Packages designed for out-of-memory processes such as ff may help you. Otherwise you can use Amazon AWS services 的 'Large memory and out-of-memory data' 部分，以在更大的计算机上购买计算时间。
我的包 filematrix 用于处理矩阵，同时将它们以二进制格式存储在文件中。函数 fm.create.from.text.file 从文本文件中读取矩阵并将其存储在二进制文件中，而不会将整个矩阵加载到内存中。然后可以使用通常的下标 fm[1:4,1:3] 部分访问它，或者将其作为一个整体快速加载到内存中 fm[].
我有一个大数据集，其中一个文件有5GB。有人可以建议我如何快速将其读入 R (RStudio) 吗？谢谢
如果您只有 4 GB 的 RAM，则无法放置 5 GB 的数据 'into R'。您也可以查看 High Perfomance Computing task view in R. Packages designed for out-of-memory processes such as ff may help you. Otherwise you can use Amazon AWS services 的 'Large memory and out-of-memory data' 部分，以在更大的计算机上购买计算时间。
我的包 filematrix 用于处理矩阵，同时将它们以二进制格式存储在文件中。函数 fm.create.from.text.file 从文本文件中读取矩阵并将其存储在二进制文件中，而不会将整个矩阵加载到内存中。然后可以使用通常的下标 fm[1:4,1:3] 部分访问它，或者将其作为一个整体快速加载到内存中 fm[].