在 python 中拆分大数据文件

Question

我在 python 中将一个大数组输出到一个文本文件中。然后我在 excel 中读取它来绘制数据。目前，我正在写入的文件太大，无法读取 excel。

我使用文件打开和关闭函数并将数据写入数组（请参考代码）：

with open("abc.txt", "w") as file:
    file.write(str(abc_value))
    file.close()

问题：如何拆分数据文件，以便在 1000000 步（大约）之后，文件关闭并开始写入另一个文件。

最后应该有多个数据文件，我可以分别在excel中读取。

非常感谢任何线索！

Answer 1

我不确定 type(abc_value) 最初是什么，但是如果您可以以数组的形式提交，那么这段代码应该可以工作：

counter = 1
for i in range(0, len(abc_value), 1000000):
    with open(f"abc{counter}.txt", "w") as file:
        for val in abc_value[i:i + 1000000]:
            file.write(str(val))
        file.close()
        counter += 1

主要思想是拆分原始数据，然后在 for 循环中创建和打开不同的文件。

输出文件应为“abc1.txt”、“abc2.txt”、...

希望我正确理解了你的问题并且这回答了它。

在 python 中拆分大数据文件

Splitting large data file in python

python

excel

large-data

large-data-volumes

data-management