如何使用 python gevent 读取文本文件
how to read a textfile with python gevent
我尝试用 python 读取 nginx
日志文件,但日志文件太大。
我可以通过 gevent
阅读文件吗?
顺便说一句,日志文件有一百万行
我可以用 pysqml
api 将数据存储到 mysql
中吗?
我发布我的评论作为答案只是为了说明我的意思:为什么不逐行读取文件并边读边插入数据?
import pymysql
conn = pymysql.connect(host='localhost', port=####, user='userid', passwd='password', db='db')
cursor = cur = conn.cursor()
insert_cmd = "INSERT INTO logs (param1, param2, param3...) VALUES (%s, %s, %s...)"
with open('logfile.log', 'r') as log:
for row in log:
cursor.execute(insert_cmd, tuple(row))
conn.commit()
我尝试用 python 读取 nginx
日志文件,但日志文件太大。
我可以通过 gevent
阅读文件吗?
顺便说一句,日志文件有一百万行
我可以用 pysqml
api 将数据存储到 mysql
中吗?
我发布我的评论作为答案只是为了说明我的意思:为什么不逐行读取文件并边读边插入数据?
import pymysql
conn = pymysql.connect(host='localhost', port=####, user='userid', passwd='password', db='db')
cursor = cur = conn.cursor()
insert_cmd = "INSERT INTO logs (param1, param2, param3...) VALUES (%s, %s, %s...)"
with open('logfile.log', 'r') as log:
for row in log:
cursor.execute(insert_cmd, tuple(row))
conn.commit()