对包含大量行的文件进行文本扫描
Textscan on file with large number of lines
我正在尝试在 MATLAB 中使用 textscan 分析一个非常大的文件。有问题的文件大小约为 12 GB，包含大约 2.5 亿行，每行有七个（浮动）数字（由空格分隔）；因为这显然不适合我桌面的 RAM，所以我使用 MATLAB documentation 中建议的方法（即一次加载和分析较小的文件块。根据文档，这应该允许处理 "arbitrarily large delimited text file[s]")。这只允许我扫描大约 43% 的文件，之后 textscan 开始返回空单元格（尽管文件中仍有数据要扫描）。
为了调试，我尝试使用 fseek 函数转到文件中的多个位置，例如：
fileInfo = dir(fileName);
fid = fileopen(fileName);
fseek(fid, floor(fileInfo.bytes/10), 'bof');
textscan(fid,'%f %f %f %f %f %f %f','Delimiter',' ');
我假设我在这里使用 fseek 的方式将位置指示器移动到我文件的大约 10%。 （我知道这并不一定意味着指示器位于一行的开头，但是如果我 运行 textscan 两次我会得到一个满意的答案。）现在，如果我替换 fileInfo.bytes/10 通过 fileInfo.bytes/2（即将其移动到文件的大约 50%）一切都崩溃了，textscan 只有 returns 一个空的 1x7 单元格。
我用大文件的文本编辑器查看了文件，这表明整个文件看起来很好，textscan 应该没有理由混淆。我能想到的唯一可能的解释是，在我几乎不了解的更深层次上出现了问题。任何建议将不胜感激！
编辑
我的代码的相关部分曾经是这样的：
while ~feof(fid)
data = textscan(fid, FormatString, nLines, 'Delimiter', ' '); %// Read nLines
%// do some stuff
end
首先，我尝试按照下面 Hoki 的建议使用 ftell 和 fseek 修复它。这给出了与我之前得到的完全相同的错误：MATLAB 无法读取超过大约 43% 的文件。然后我尝试使用 HeaderLines 解决方案（也在下面建议），如下所示：
i = 0;
while ~feof(fid)
frewind(fid)
data = textscan(fid, FormatString, nLines, 'Delimiter',' ', 'HeaderLines', i*nLines);
%// do some stuff
i = i + 1;
end
这似乎读入了数据而没有产生错误；但是，它非常慢。
我不完全确定我理解 HeaderLines 在这种情况下的作用，但它似乎使 textscan 完全忽略指定行之前的所有内容。当以 "appropriate" 方式使用 textscan 时（有或没有 ftell 和 fseek）似乎不会发生这种情况：在这两种情况下，它都会尝试从上一个继续位置，但由于某些我还不明白的原因无济于事。
fseek 只有当您准确知道要将光标移动到哪里（或移动多少字节）时，文件中的指针才有用。当您只想跳过一些 known 长度的记录时，它对二进制文件非常有用。但是在文本文件上，它比任何东西都更危险和混乱（除非你绝对确定每一行的大小相同并且行上的每个元素都完全相同 place/column，但是不常发生).
有几种逐块读取文本文件的方法：
1) 使用 HeaderLines 选项
要简单地跳过文本文件中的一行，您可以使用 textscan 的 HeaderLines 参数，例如：
readFormat = '%f %f %f %f %f %f %f' ; %// read format specifier
nLines = 10000 ; %// number of line to read per block
fileInfo = dir(fileName);
%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' '); %// read the first 10000 lines
fclose(fid)
%// Now do something with your "M" data
然后当你想读第二块时：
%// later read the SECOND block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', nLines); %// read lines 10001 to 20000
fclose(fid)
如果你有很多块，对于 Nth 块，只需适应：
%// and then for the Nth BLOCK block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', (N-1)*nLines);
fclose(fid)
如有必要（如果您有很多块），只需在循环中编写最后一个版本即可。
请注意，如果您在每次块读取后 关闭 文件，这很好（这样当您再次打开文件时，文件指针将从文件的开头开始）。如果您的处理可能需要很长时间或可能出错，则在读取数据块后关闭文件会更安全（您不希望文件保持打开时间过长或在崩溃时丢失 fid）。
2) 按块读取（不关闭文件）
如果块的处理速度足够快且足够安全，因此您确定它不会炸毁，您可以不关闭 文件。在这种情况下，textscan 文件指针将停留在您停止的位置，因此您也可以：
- 读取一个块（不关闭文件）：
M = textscan(fid, readFormat, nLines)
- 处理它然后保存你的结果（并释放内存）
- 使用相同的调用读取下一个块：
M = textscan(fid, readFormat, nLines)
在这种情况下，您不需要 headerlines 参数，因为 textscan 将在停止的地方恢复读取。
3) 使用 ftell 和 fseek
最后，您可以使用 fseek 在您想要的精确位置开始读取文件，但在这种情况下我建议将它与 ftell.
结合使用
ftell 将 return 打开文件中的当前位置，因此使用它来了解您上次停止阅读的位置，然后在下一次使用 fseek 直接在这个位置。类似于：
%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// do some stuff
%// then read another block:
fid = fileopen(fileName);
fseek( fid , 'bof' , lastPosition ) ;
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// and so on ...
我正在尝试在 MATLAB 中使用 textscan 分析一个非常大的文件。有问题的文件大小约为 12 GB，包含大约 2.5 亿行，每行有七个（浮动）数字（由空格分隔）；因为这显然不适合我桌面的 RAM，所以我使用 MATLAB documentation 中建议的方法（即一次加载和分析较小的文件块。根据文档，这应该允许处理 "arbitrarily large delimited text file[s]")。这只允许我扫描大约 43% 的文件，之后 textscan 开始返回空单元格（尽管文件中仍有数据要扫描）。
为了调试，我尝试使用 fseek 函数转到文件中的多个位置，例如：
fileInfo = dir(fileName);
fid = fileopen(fileName);
fseek(fid, floor(fileInfo.bytes/10), 'bof');
textscan(fid,'%f %f %f %f %f %f %f','Delimiter',' ');
我假设我在这里使用 fseek 的方式将位置指示器移动到我文件的大约 10%。 （我知道这并不一定意味着指示器位于一行的开头，但是如果我 运行 textscan 两次我会得到一个满意的答案。）现在，如果我替换 fileInfo.bytes/10 通过 fileInfo.bytes/2（即将其移动到文件的大约 50%）一切都崩溃了，textscan 只有 returns 一个空的 1x7 单元格。
我用大文件的文本编辑器查看了文件，这表明整个文件看起来很好，textscan 应该没有理由混淆。我能想到的唯一可能的解释是，在我几乎不了解的更深层次上出现了问题。任何建议将不胜感激！
编辑
我的代码的相关部分曾经是这样的：
while ~feof(fid)
data = textscan(fid, FormatString, nLines, 'Delimiter', ' '); %// Read nLines
%// do some stuff
end
首先，我尝试按照下面 Hoki 的建议使用 ftell 和 fseek 修复它。这给出了与我之前得到的完全相同的错误：MATLAB 无法读取超过大约 43% 的文件。然后我尝试使用 HeaderLines 解决方案（也在下面建议），如下所示：
i = 0;
while ~feof(fid)
frewind(fid)
data = textscan(fid, FormatString, nLines, 'Delimiter',' ', 'HeaderLines', i*nLines);
%// do some stuff
i = i + 1;
end
这似乎读入了数据而没有产生错误；但是，它非常慢。
我不完全确定我理解 HeaderLines 在这种情况下的作用，但它似乎使 textscan 完全忽略指定行之前的所有内容。当以 "appropriate" 方式使用 textscan 时（有或没有 ftell 和 fseek）似乎不会发生这种情况：在这两种情况下，它都会尝试从上一个继续位置，但由于某些我还不明白的原因无济于事。
fseek 只有当您准确知道要将光标移动到哪里（或移动多少字节）时，文件中的指针才有用。当您只想跳过一些 known 长度的记录时，它对二进制文件非常有用。但是在文本文件上，它比任何东西都更危险和混乱（除非你绝对确定每一行的大小相同并且行上的每个元素都完全相同 place/column，但是不常发生).
有几种逐块读取文本文件的方法：
1) 使用 HeaderLines 选项
要简单地跳过文本文件中的一行，您可以使用 textscan 的 HeaderLines 参数，例如：
readFormat = '%f %f %f %f %f %f %f' ; %// read format specifier
nLines = 10000 ; %// number of line to read per block
fileInfo = dir(fileName);
%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' '); %// read the first 10000 lines
fclose(fid)
%// Now do something with your "M" data
然后当你想读第二块时：
%// later read the SECOND block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', nLines); %// read lines 10001 to 20000
fclose(fid)
如果你有很多块，对于 Nth 块，只需适应：
%// and then for the Nth BLOCK block:
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ','HeaderLines', (N-1)*nLines);
fclose(fid)
如有必要（如果您有很多块），只需在循环中编写最后一个版本即可。
请注意，如果您在每次块读取后 关闭 文件，这很好（这样当您再次打开文件时，文件指针将从文件的开头开始）。如果您的处理可能需要很长时间或可能出错，则在读取数据块后关闭文件会更安全（您不希望文件保持打开时间过长或在崩溃时丢失 fid）。
2) 按块读取（不关闭文件）
如果块的处理速度足够快且足够安全，因此您确定它不会炸毁，您可以不关闭 文件。在这种情况下，textscan 文件指针将停留在您停止的位置，因此您也可以：
- 读取一个块（不关闭文件）：
M = textscan(fid, readFormat, nLines) - 处理它然后保存你的结果（并释放内存）
- 使用相同的调用读取下一个块：
M = textscan(fid, readFormat, nLines)
在这种情况下，您不需要 headerlines 参数，因为 textscan 将在停止的地方恢复读取。
3) 使用 ftell 和 fseek
最后，您可以使用 fseek 在您想要的精确位置开始读取文件，但在这种情况下我建议将它与 ftell.
ftell 将 return 打开文件中的当前位置，因此使用它来了解您上次停止阅读的位置，然后在下一次使用 fseek 直接在这个位置。类似于：
%// read FIRST block
fid = fileopen(fileName);
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// do some stuff
%// then read another block:
fid = fileopen(fileName);
fseek( fid , 'bof' , lastPosition ) ;
M = textscan(fid, readFormat, nLines,'Delimiter',' ');
lastPosition = ftell(fid) ;
fclose(fid)
%// and so on ...