Hashlib 在使用多处理时返回重复哈希

Question

我正在使用 hashlib 创建文件的 sha256 哈希，然后将其与存储在数据库中的文件的先前哈希进行比较。

def create_hash(file, id, hex=True, hash_type=hashlib.sha256):
    con = db.connect(db_host, db_user, db_pass, db_db)
    cur = con.cursor()
    hashinst = hash_type()
    with open(file, 'rb') as f:
            for chunk in iter(lambda: f.read(hashinst.block_size * 128), b''):
                hashinst.update(chunk)
            hash = hashinst.hexdigest() if hex else hashinst.digest()
    print hash
    cur.execute("SELECT * FROM Previews WHERE S_Id=%s", (id))
    row = cur.fetchone()
    count = row[2] + 1
    cur_hash = row[1]
    if hash == cur_hash:
        count = row[2] + 1
        cur.execute("UPDATE Previews SET Count = %s WHERE S_Id = %s", (count, id))
        con.commit()
    elif hash != cur_hash:
        cur.execute("UPDATE Previews SET Count = 0 WHERE S_Id = %s", (id))
        con.commit()
        cur.execute("UPDATE Previews SET Hash = %s WHERE S_Id = %s", (hash, id))    
        con.commit()

为此速度是必须的，所以我也在使用多处理模块。

  pool = multiprocessing.Pool(processes= pCount)
    pool.map(create_preview, rows)

这会调用函数 create_preview 创建图像并调用上面的函数。问题是所有的哈希值都是相同的。如果我在 for 循环中执行此操作而不是使用多处理池，我没有问题并且所有哈希值都不同。

有谁知道使用 hashlib 模块和多处理或我可以用来比较文件的替代方法可能会出现的任何问题？

Answer 1

因此，您应该使用 map(lambda row: create_preview(row[0]), rows) 而不是 map(create_preview, rows)。

Hashlib 在使用多处理时返回重复哈希

Hashlib returning duplicate hash when using multiprocessing

python

multiprocessing

hashlib