仅从 SAS 读取到 R 的一部分行
Read from SAS to R for only a subset of rows
我在 SAS 中有一个非常大的数据集(> 600 万行)。我正在尝试将其读给 R。为此,我正在使用 R 中“haven”库中的“read_sas”。
但是,由于数据量非常大,我想将数据拆分成子集(例如,12个子集,每个子集有500000行),然后将每个子集读入R。我想知道是否有解决这个问题的可能方法。非常感谢任何意见!
有什么办法可以 split the data with SAS 事先...?
read_sas
有 skip
和 n_max
参数,所以如果你的增量大小是 N=5e5
你应该能够设置一个索引 i
来读取在第 i
个数据块中使用 read_sas(..., skip=(i-1)*N, n_max=N)
。 (大概会有 一些 跳过行的性能损失,但我不知道会有多糟糕。)
我在 SAS 中有一个非常大的数据集(> 600 万行)。我正在尝试将其读给 R。为此,我正在使用 R 中“haven”库中的“read_sas”。
但是,由于数据量非常大,我想将数据拆分成子集(例如,12个子集,每个子集有500000行),然后将每个子集读入R。我想知道是否有解决这个问题的可能方法。非常感谢任何意见!
有什么办法可以 split the data with SAS 事先...?
read_sas
有 skip
和 n_max
参数,所以如果你的增量大小是 N=5e5
你应该能够设置一个索引 i
来读取在第 i
个数据块中使用 read_sas(..., skip=(i-1)*N, n_max=N)
。 (大概会有 一些 跳过行的性能损失,但我不知道会有多糟糕。)