在磁盘上分配文件而不清零

Question

我需要分配一个巨大的文件而不清零它的内容。我正在使用巨大的文件大小（数百 GB）生成此步骤 fopen => ftruncate => fclose => mmap => (...work...) => munmap。当系统正在尝试将文件字节归零时，应用程序在终止时挂起几分钟——恕我直言，因为 ftruncate 用法。

ftruncate(ofd, 0);

#ifdef HAVE_FALLOCATE

    int ret = fallocate(ofd, 0, 0, cache_size);
    if (ret == -1) {
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }

#elif defined(HAVE_POSIX_FALLOCATE)

    int ret = posix_fallocate(ofd, 0, cache_size);
    if (ret == -1) {
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }

#elif defined(__APPLE__)

    fstore_t store = {F_ALLOCATECONTIG, F_PEOFPOSMODE, 0, cache_size, 0};
    int ret = fcntl(ofd, F_PREALLOCATE, &store);
    if (ret == -1) {
        store.fst_flags = F_ALLOCATEALL;
        ret = fcntl(ofd, F_PREALLOCATE, &store);
    }
    if (ret == -1) { // read fcntl docs - must test against -1
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }
    struct stat sb;
    ret = fstat(ofd, &sb);
    if (ret != 0) {
        printf("Failed to write to file to establish the size.\n");
        exit(-1);
    }
    //ftruncate(ofd, cache_size); <-- [1]

#endif

它似乎不适用于注释行 [1]。但是取消注释这一行会产生我试图避免的文件归零。在写之前我真的不关心脏文件内容。我只是想避免在应用程序终止时挂起。

解决方案：

根据@torfo's ，用以下几行替换了我所有与 Apple 相关的代码：

unsigned long long result_size = cache_size;
int ret = fcntl(ofd, F_SETSIZE, &result_size);
if(ret == -1) {
    printf("Failed set size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
    exit(-1);
}

但仅适用于超级用户！

Answer 1

这显然是 MacOS X。

您可以尝试将 ftruncate 调用替换为

fcntl(ofd, F_SETSIZE, &size);

（注意需要 root 权限并且可能会造成安全漏洞，因为它可能会提供对以前存在的旧文件内容的访问权限，因此必须格外小心地处理。您不关心的 "dirty file content"可能实际上是他一周前删除的用户的银行帐户密码...)

MacOS X 并不真正支持稀疏文件 - 它确实创建和维护它们，但它的文件系统驱动程序非常渴望尽快填补漏洞。

在磁盘上分配文件而不清零

Allocate file on disk without zeroing

c

macos

posix

fcntl

fallocate