如何获取大型（二进制）文件中字符串的偏移量？

Question

我目前正在尝试查找大文件中字符串的偏移量。我知道该字符串只出现一次，但文件中的位置可能会有所不同。

我的第一个想法是先将文件（几百兆）读入内存，以加快搜索速度。

然而，这很可能会导致获取内存中的偏移量，而不是实际的文件偏移量。

如何获取文件偏移量？我能以某种方式将内存偏移量映射到文件偏移量吗？或者是否有直接在文件系统上执行此操作的高效方法？

部分代码供参考：

char *buffer;
long fsize = 0;

FILE *fd = fopen("data.bin", "r");

if (fd == NULL)
{
    printf("file I/O error.\n");
    return 0;
}

fseek(fd, 0, SEEK_END);
fsize = ftell(fd);
fseek (fd, 0, SEEK_SET);

buffer = malloc(fsize);

if (buffer == NULL)
{
    printf("error allocating memory.\n");
    return 0;        
}

fread(buffer, fsize, 1, fd);
fclose(fd);

// FIND STRING "MAGIC" and return FILE offset

如何从这里开始？如上所述，性能是一个重要方面。

Answer 1

使用memmem在buffer中搜索，(strchr不会起作用，因为读取的文件中可能有空字符and/or 要查找的字符串)

However this will most likely result in getting the offset in memory, not the real file offset.

这个是假的，偏移量是一样的

Answer 2

最简单、最有效和最节省资源的方法不是将文件读入缓冲区，而是将其内存映射并搜索字符串，然后像这样：

int fd = open(filename, O_RDONLY);
off_t length = lseek(fd, 0, SEEK_END);
void *data = mmap(NULL, length, PROT_READ, MAP_PRIVATE, fd, 0);
void *ptr = memmem(data, length, key, keylen);
size_t offset = ptr-data;
munmap(data, length);
close(fd);

这有很大的优势，你不必关心读取文件的内存管理，OS 会为你做这一切（包括缓存，预读等。pp. ).如果系统内存不足，OS 将自动丢弃文件的内存页面。

如何获取大型（二进制）文件中字符串的偏移量？

How to get the offset of a string in a large (binary) file?

c

linux

fopen

offset