多个 python 脚本 一个文本文件

multiple python scripts one text file

想知道能不能实现

我在 python 中制作了一个脚本,它从文本文件中随机提取一行,对其进行处理,然后 returns 修改后的一行,我将其插入到文件中,仅此而已。

我的问题是我想扩展脚本,使其成为多线程,脚本在将行写入文本文件时是否有可能不准确,我的意思是脚本运行速度很快,但我没有知道文件系统是否会崩溃,有没有人用过文本文件来做这种事情,你会推荐什么来代替文本文件?

如果我将所有数据移动到数据库mysql/sql(随便)我会不会降低速度?我的意思是读取文本文件完成得非常快,如果我连接到数据库并在处理之后获取数据,我认为这需要时间,或者如果我在我的电脑上安装 mysql 服务器则不会。 ?

请记住文件增长非常快非常大。

你说的文件有多大?你说它增长很快。将某些东西放入像 postgres 这样的数据库中的好处是预写日志记录。有几个很好的 python 库可以与数据库交互,比如 postgres 的 psycopg2。您以后是否需要查询信息,在这种情况下,数据库可能值得任何速度上的微小损失。

http://en.wikipedia.org/wiki/Write-ahead_logging

http://initd.org/psycopg/