`python' 中的错误：free()：无效指针：0x00007fc3c90dc98e

Question

在 anacondas py3.6 安装的 ubuntu 服务器（100GB RAM）上以这种方式在 for 循环（7 个文件 * 4GB）中打开多个文件后出现此错误：

temp_df = pd.read_csv(datafolder + str(file), encoding="ISO-8859-1", delimiter=';',low_memory=False)

这个错误，是我设置后出现的

low_memory=False

当 low_memory = True

时不会发生

* Error in `python': free(): invalid pointer: 0x00007fc3c90dc98e *

有什么想法吗？谢谢

Answer 1

这个问题是由于打开文件时多个线程并行执行造成的，这有时也会导致分段错误。 正如您所说，您的文件每个包含 4 GB，因此并行执行以读取您的文件的多个线程导致了问题。