CC_SHA256_Update 的优化批量读取

Question

我有以下代码来计算输入的 sha_256，我想知道如何知道 CC_SHA256_Update 的每次迭代的最佳数据块大小是多少。它是常量值还是取决于系统环境的变量？

 CC_SHA256_CTX sha256;
 CC_SHA256_Init(&sha256);

 const long bufSize = 32768; //how can i find the optimized size ? 
 char* buffer = (char *) malloc(bufSize);

 int bytesRead = 0;
 if(!buffer) {
     return -1;
 }

 while((bytesRead = (int) fread(buffer, 1, bufSize, file))) {
     CC_SHA256_Update(&sha256, buffer, bytesRead);
 }

编辑：我尝试了下面所选答案中描述的不同方法，并使用 mmap（而不是 malloc+fread）获取数据。不幸的是，id 没有提高运行时间效率（略有提高）

int fsize(const char *filename) {
    struct stat st; 
    if (stat(filename, &st) == 0)
        return st.st_size;
    return -1; 
}

int fd = open(path, O_RDONLY);

int sz = fsize(path);  
char * buffer = mmap((caddr_t)0, sz, PROT_READ  , MAP_SHARED, fd, 0);

CC_SHA256_CTX sha256;
CC_SHA256_Init(&sha256);

CC_SHA256_Update(&sha256, buffer, sz);

CC_SHA256_Final(output, &sha256);

close(fd);
return 0;

Answer 1

我认为只有使用不同的大小进行测试才能明确这一点，但 64kB（分配粒度）的倍数可能是首选。

但为了获得最佳性能，您可以考虑直接在 file 上使用 memory mapping。这将消除将所有数据从内核模式（OS 磁盘缓存）复制到用户模式的需要。您将直接访问 OS 缓存，并且您可能只需要调用 CC_SHA256_Update() 一次。

CC_SHA256_Update 的优化批量读取

Optimized bulk read for the CC_SHA256_Update

c

openssl

sha256