AES 解密大于可用 RAM 的文件

Question

到目前为止，我曾经使用 AES 解密文件（位于 U 盘上），如下所示：

FILE * fp = fopen(filePath, "r");
vector<char> encryptedChars;

if (fp == NULL) {
    //Could not open file
    continue;
}

while(true) {
    int nextEncryptedChar = fgetc(fp);

    if (nextEncryptedChar == EOF) {
        break;
    }

    encryptedChars.push_back(nextEncryptedChar);
 }

 fclose(fp);

 char encryptedFileArray[encryptedChars.size()];
 int encryptedByteCount = encryptedChars.size();

 for (int x = 0; x < aantalChars; x++) {
     encryptedFileArray[x] = encryptedChars[x];
 }

 encryptedChars.clear();

 AES aes;

 //Decrypt the message in-place
 aes.setup(key, AES::KEY_128, AES::MODE_CBC, iv);
 aes.decrypt(encryptedFileArray, sizeof(encryptedFileArray));
 aes.clear();

这非常适合小文件。此时，我从 U 盘打开一个文件，将所有字符存储到一个向量中，然后将该向量复制到一个数组中。我知道 &encryptedChars[0] 也可以用作数组指针并且会节省一些内存。

现在我想解密一个 256Kb（而不是 1Kb）的文件。将数据复制到源数组中至少需要 256Kb 的 RAM。然而，我只有 100Kb 可供使用，因此无法创建包含加密数据的源数组。

所以我尝试使用 fopen 给我的 FILE * 作为 FILE 指针，并在同一个 USB 记忆棒上创建了一个新文件作为目标指针。我希望解密轮将使用 USB 记忆棒的内存，而不是堆上的可用内存。

FILE * fp = fopen(encryptedFilePath, "r");
FILE * fpDecrypt = fopen(decryptedFilePath, "w+");

if (fp == NULL || fpDecrypt == NULL) {
     //Could not open file!?
     return;
}

AES aes;

//Decrypt the message in-place
aes.setup(key, AES::KEY_128, AES::MODE_CBC, iv);
aes.decrypt((const char*)fp, fpDecrypt, firmwareSize); 
aes.clear();

不幸的是，系统锁定了（不知道为什么）。

有人知道我是否可以将 FILE * 传递给需要 const char * 作为源和 void * 作为目标的函数吗？

我正在使用以下库：https://os.mbed.com/users/neilt6/code/AES/docs/tip/AES_8h_source.html

谢谢！

Answer 1

一般来说，如果有些东西不适合记忆，你可以求助于：

随机访问文件。使用 fseek 查找位置并读取或写入您需要的内容。最低内存要求。
正在分批处理以适合内存。内存要求是可调的，但算法必须适合这个。
系统虚拟内存，允许您保留系统可以寻址的最大块，您有空闲磁盘 space 和您的系统设置。这通常是透明的，具体取决于您的系统。
其他分页内存机制。

由于 AES 加密是以 128 位为单位进行的，而且您的内存不足，您可能应该对文件使用随机访问。

Answer 2

许多加密库提供 "incremental" API，允许数据流 en/decrypted 一段一段地进行，而无需将流加载到内存中。不幸的是，the library you're using 似乎没有（或者至少没有明确记录）。

但是，如果您知道 how CBC mode encryption works，则可以自行推出。基本上，您需要做的就是获取前一个密文块的最后一个 AES 块（即最后 16 个字节），并在解密（或加密）下一个块时将其用作 IV，如下所示：

char buffer[1024];  // this needs to be a multiple of 16 bytes!
char ivTemp[16];
while(true) {
    int bytesRead = fread(buffer, 1, sizeof(buffer), inputFile);

    // save last 16 bytes of ciphertext as IV for next block
    if (bytesRead == sizeof(buffer)) memcpy(ivTemp, buffer + bytesRead - 16, 16);

    // decrypt the message in-place
    AES aes;
    aes.setup(key, AES::KEY_128, AES::MODE_CBC, iv);
    aes.decrypt(buffer, bytesRead);
    aes.clear();

    // write out decrypted data (todo: check for write errors!)
    fwrite(buffer, 1, bytesRead, outputFile);

    // use the saved last 16 bytes of ciphertext as IV for next block
    if (bytesRead == sizeof(buffer)) memcpy(iv, ivTemp, 16);

    if (bytesRead < sizeof(buffer)) break;  // end of file (or read error)
}

请注意，此代码将覆盖 iv 数组。不过，这应该没问题，因为无论如何您都不应该两次使用相同的 IV。（事实上，在 CBC 模式下，IV 应该由加密器使用加密安全的 RNG 随机选择，并与消息一起发送。通常的方法是简单地将 IV 添加到消息文件中。）

另外，上面的代码比它需要的效率要低一些，因为它调用 aes.setup() 并因此重新运行为每个块进行整个 AES 密钥扩展。不幸的是，我找不到任何已记录的方法来告诉您的加密库更改 IV 而无需重新运行设置。

但是，查看下面评论中的 implementation of your library, as linked by Sister Fister，它似乎已经用最后一个密文块替换了 IV 的内部副本。因此，看起来您真正需要做的就是为每个块调用 aes.decrypt() 而无需 之间的设置调用，例如这个：

char buffer[1024];  // this needs to be a multiple of 16 bytes!

AES aes;
aes.setup(key, AES::KEY_128, AES::MODE_CBC, iv);

while(true) {
    int bytesRead = fread(buffer, 1, sizeof(buffer), inputFile);

    // decrypt the chunk of data in-place (continuing from previous chunk)
    aes.decrypt(buffer, bytesRead);

    // write out decrypted data (todo: check for write errors!)
    fwrite(buffer, 1, bytesRead, outputFile);

    if (bytesRead < sizeof(buffer)) break;  // end of file (or read error)
}
aes.clear();

请注意，此代码依赖于 not 似乎已明确记录的加密库的一项功能，即多次调用 aes.decrypt() 将导致解密要正确链接。（对于 CBC 模式，这实际上是一件非常合理的事情，但如果不阅读代码或找到明确的文档，你永远无法确定。）你应该确保有一个全面的测试套件，并重新运行每次升级库时都会进行测试。

另请注意，我没有测试过这些示例中的任何一个，因此显然可能存在错误或拼写错误。此外，您的加密库的文档有些稀疏，因此它可能无法完全像我假设的那样工作。请在使用之前彻底测试基于此代码的任何内容！

AES 解密大于可用 RAM 的文件

AES decrypting files larger than available RAM

c++

encryption

aes

mbed