如何使用 python gevent 读取文本文件

Question

我尝试用 python 读取 nginx 日志文件，但日志文件太大。

我可以通过 gevent 阅读文件吗？

顺便说一句，日志文件有一百万行 我可以用 pysqml api 将数据存储到 mysql 中吗？

Answer 1

我发布我的评论作为答案只是为了说明我的意思：为什么不逐行读取文件并边读边插入数据？

import pymysql
conn = pymysql.connect(host='localhost', port=####, user='userid', passwd='password', db='db')
cursor = cur = conn.cursor()
insert_cmd = "INSERT INTO logs (param1, param2, param3...) VALUES (%s, %s, %s...)"
with open('logfile.log', 'r') as log:
    for row in log:
        cursor.execute(insert_cmd, tuple(row))
conn.commit()

如何使用 python gevent 读取文本文件

how to read a textfile with python gevent

python

nginx

gevent

pymysql