更新时创建 Sqlite 数据库补丁

Question

上下文：
python 3.6 脚本每天使用 sqlite3 模块多次更新 Sqlite 数据库。
数据库是~500Mo，每次更新加起来~250Ko。

问题：
我提供了数据库的每个更新版本，并希望减少传输数据的大小。换句话说，我只想传输更新的内容（通过一种补丁）。
sqldiff.exe 实用程序可以用于此目的，但是，它需要在每次更新时创建数据库的本地副本。

问题：
有没有办法，使用Python（通过DB-API 2.0 interface或使用Python中的其他方式），在更新数据库的同时生成这种补丁？

第一想法：
是否可以根据执行提交的游标 before/while 编写补丁（例如更新数据库的操作列表）？

import sqlite3

# Open database
conn = sqlite3.connect('mydb.db')
cur = conn.cursor()

# Insert/Update data
new_data = 3.14
cur.execute('INSERT INTO mytable VALUES (?)', (new_data,))

# KEEP TRACK & Save (commit) the changes 
conn.dump_planned_actions()  # ?????
conn.commit()
conn.close()

Answer 1

以下代码段显示了我找到的解决方法。

它依赖于 Sqlite3 方法 set_trace_callback 记录所有发送的 SQL 语句，并 executescript 应用这些语句。

import sqlite3

class DBTraceCallbackHandler(object):
    """Class handling callbacks in order to log sql statements history."""
    def __init__(self):
        self.sql_statements = []
    def instance_handler(self, event):
        self.sql_statements.append(str(event))

def database_modification(cursor):
    # user-defined
    pass

def create_patch(db_path):
    # Openning connection
    conn = sqlite3.connect(db_path)
    c = conn.cursor()
    # Start tracing sql
    callback_handler = DBTraceCallbackHandler()
    conn.set_trace_callback(callback_handler.instance_handler)
    # Modification of database
    database_modification(c)
    # End of modification of database
    conn.commit()
    c.close()
    # Generating the patch - selecting sql statements that modify the db
    idx_rm = []
    for idx, sql_statement in enumerate(callback_handler.sql_statements):
        if not any([sql_statement.startswith(kw) for kw in ['UPDATE', 'INSERT', 'CREATE']]):
            idx_rm.append(idx)
    for idx in sorted(idx_rm, reverse=True):
        del callback_handler.sql_statements[idx]

    return ';\n'.join(callback_handler.sql_statements) + ';\n'


def apply_patch(db_path, sql_script):
    # Openning connection
    conn = sqlite3.connect(db_path)
    c = conn.cursor()
    # Modification of database - apply sql script
    c.executescript(sql_script)
    # End of modification of database
    conn.commit()
    c.close()

更新时创建 Sqlite 数据库补丁

Create Sqlite database patches while updating

sqlite

diff

patch

python-3.x

python-db-api