写入开始后追加到二进制文件

Question

我正在创建具有以下格式的二进制记录文件：

quantity-of-records  
record_1  
record_2  
...  
record_N

问题是 record_1 每次都被覆盖，而不是追加。

在 BOF 写入后写入 EOF

这是我的简化代码：

#include <fstream>
#include <string>

struct Record
{
    unsigned int    id;
    std::string     text;
};


int main()
{
    static const Record     table[] =
    {
        {
            1, "Apple"
        },
        {
            2, "Salt"
        },
        {
            3, "Margarine"
        },
        {
            4, "Carrot"
        },
        {
            5, "Plum"
        }
    };

    static const size_t records_in_table =
        sizeof(table) / sizeof(table[0]);

    static const char   table_filename[] = "record_file.bin";

    size_t i;
    size_t record_quantity = 1u;
    for (i = 0u; i < records_in_table; ++i)
    {
        std::ofstream   table_file(table_filename,
                                   std::ios::binary);
        table_file.seekp(0, std::ios::beg);
        table_file.write(reinterpret_cast<char *>(&record_quantity),
                         sizeof(record_quantity));
        table_file.flush();

        table_file.seekp(0, std::ios::end);
        table_file.write(reinterpret_cast<char const *>(&table[i].id),
                         sizeof(Record::id));
        const size_t length(table[i].text.length());
        table_file.write(reinterpret_cast<char const *>(&length),
                         sizeof(length));
        table_file.write(table[i].text.c_str(),
                         length);
        table_file.close();
        ++record_quantity;
    }
    return 0;
}

这是二进制文件的内容：

$ od -Ax -x record_file.bin
000000 0005 0000 0000 0000 0005 0000 0004 0000
000010 0000 0000 6c50 6d75
000018

数字以 Little Endian 格式写入，~~32 位（4 字节）~~64 位（8 字节）。文本 "Plum" 被 ASCII 编码为：0x50、0x6C、0x75、0x6D

这是第一次迭代后的二进制文件：

$ od -Ax -x record_file.bin
000000 0001 0000 0000 0000 0001 0000 0005 0000
000010 0000 0000 7041 6c70 0065
000019

Environment/Tools:

编译器：Visual Studio 2017，G++ (GCC) 7.4.0 (Cygwin)
OS: Windows 7

以 `app`

模式打开

另一种方法是在 ios::app 模式下打开文件，写入新记录，然后更新记录数量：

size_t  i;
size_t  record_quantity = 1u;
bool    first_write(true);
for (i = 0u; i < records_in_table; ++i)
{
    std::ofstream   table_file(table_filename,
                               std::ios::binary | std::ios::app);
    if (first_write)
    {
        first_write = false;
        table_file.write(reinterpret_cast<char *>(&record_quantity),
                         sizeof(record_quantity));
        table_file.flush();
        table_file.write(reinterpret_cast<char const *>(&table[i].id),
                         sizeof(Record::id));
        const size_t length(table[i].text.length());
        table_file.write(reinterpret_cast<char const *>(&length),
                         sizeof(length));
        table_file.write(table[i].text.c_str(),
                         length);
    }
    else
    {
        table_file.write(reinterpret_cast<char const *>(&table[i].id),
                         sizeof(Record::id));
        const size_t length(table[i].text.length());
        table_file.write(reinterpret_cast<char const *>(&length),
                         sizeof(length));
        table_file.write(table[i].text.c_str(),
                         length);
        table_file.flush();
        table_file.seekp(0, std::ios::beg);
        table_file.write(reinterpret_cast<char *>(&record_quantity),
                         sizeof(record_quantity));
    }
    table_file.close();
    ++record_quantity;
}

但是，对于替代实现，文件中的记录数量或第一个整数不会更新。
这是二进制文件的内容：

$ od -Ax -x record_file.bin
000000 0001 0000 0000 0000 0001 0000 0005 0000
000010 0000 0000 7041 6c70 0165 0000 0000 0000
000020 0100 0000 0500 0000 0000 0000 4100 7070
000030 656c 0002 0000 0004 0000 0000 0000 6153
000040 746c 0002 0000 0000 0000 0003 0000 0009
000050 0000 0000 0000 614d 6772 7261 6e69 0365
000060 0000 0000 0000 0400 0000 0600 0000 0000
000070 0000 4300 7261 6f72 0474 0000 0000 0000
000080 0500 0000 0400 0000 0000 0000 5000 756c
000090 056d 0000 0000 0000 0000
000099

问题：如何将记录附加到文件末尾并更新第一个整数（在文件开头）？

Answer 1

问题是因为您 open 您的文件流 table_file 的方式。由于您只是为了输出而打开它，无论是否使用 ios:trunc 打开模式，现有文件内容都会被破坏。

为了添加到现有内容，您需要将 ios:::read 作为调用的一部分：

std::ofstream table_file(table_filename, std::ios::binary | std::ios::in);

（ofstream 将添加所需的 std::ios::write 标志。）虽然这似乎是不直观的，因为当您只是写入文件时需要读取模式，但只要您需要写入文件的中间部分现有内容通常需要读入，因为您的写入可能无法在设备存储边界（扇区或簇）上很好地对齐。

Answer 2

根本原因

根本原因或问题是打开文件的模式。我的实验表明，只有在使用 std::ios_base::app 打开文件时才会附加数据。但是，大多数文档暗示 all 写入将附加到文件中。寻找到一个位置，然后写入仍然是在 EOF 处写入的数据。

为了在文件开头写入而不截断，必须使用 std::ios_base::in 和 std::ios_base::out 属性打开 ofstream。

更正程序

我修改了我的程序，使记录在 16 字节边界上排列，未使用的字节用 0xFF 填充（这使十六进制转储更易于阅读）。所有整数数据都是32位的；文本是可变长度的。

先写入记录数据，追加到文件中。文件被打开两次，使用两个不同的变量，每种模式打开一次。

#include <fstream>
#include <string>

struct Table_Quantity_Record
{
    unsigned int    quantity;
    uint8_t         padding[12];
};

struct Record
{
    unsigned int    id;
    std::string     text;
};


int main()
{
    static const Record     table[] =
    {
        { 0x11111111, "Apple"},
        { 0x22222222, "Salt"},
        { 0x33333333, "Butter"},
        { 0x44444444, "Carrot"},
        { 0x55555555, "Plum"},
    };

    static const size_t records_in_table =
        sizeof(table) / sizeof(table[0]);

    static const char   table_filename[] = "record_file.bin";

    std::remove(&table_filename[0]);

    size_t  i;
    Table_Quantity_Record   quantity_record;
    quantity_record.quantity = 1;
    std::fill(&quantity_record.padding[0],
              &quantity_record.padding[12],
              0xffu);
    static const uint8_t    padding_bytes[16] = {0xFFu};
    for (i = 0; i < records_in_table; ++i)
    {
        // Open the file in append mode, and append the new data record.
        std::ofstream   data_file(&table_filename[0],
                                  std::ios_base::binary | std::ios_base::app | std::ios_base::ate);
        if (data_file)
        {
            data_file.write((char *) &table[i].id, sizeof(Record::id));
            const unsigned int length = table[i].text.length();
            data_file.write((char *) &length, sizeof(length));
            data_file.write(table[i].text.c_str(), length);
            data_file.flush();
            const unsigned int padding_qty =
                16 - sizeof(Record::id) - sizeof(length) - length;
            static const uint8_t pad_byte = 0xFFU;
            for (size_t j = 0; j < padding_qty; ++j)
            {
                data_file.write((char *) &pad_byte, sizeof(pad_byte));
            }
            data_file.flush();
            data_file.close();
        }

        // Open the data file with "in" attribute to write the record quantity
        // at the beginning of the file.
        std::ofstream   table_file(&table_filename[0],
                                   std::ios_base::binary | std::ios_base::in);
        table_file.write((char *) &quantity_record, sizeof(quantity_record));
        table_file.flush();
        table_file.close();
        ++quantity_record.quantity;
    }
    return 0;
}

二进制文件的内容

$ od -Ax -x record_file.bin
000000 0005 0000 ffff ffff ffff ffff ffff ffff
000010 2222 2222 0004 0000 6153 746c ffff ffff
000020 3333 3333 0006 0000 7542 7474 7265 ffff
000030 4444 4444 0006 0000 6143 7272 746f ffff
000040 5555 5555 0004 0000 6c50 6d75 ffff ffff
000050

注意：自问题中的程序以来，记录 ID 值已更改，以便于查找记录。

写入开始后追加到二进制文件

Appending to binary file after writing to beginning

c++

file-io

binaryfiles

ofstream

random-access

在 BOF 写入后写入 EOF

以 `app`

根本原因

更正程序

二进制文件的内容

写入开始后追加到二进制文件

Appending to binary file after writing to beginning

c++

file-io

binaryfiles

ofstream

random-access

在 BOF 写入后写入 EOF

以 app

根本原因

更正程序

二进制文件的内容

以 `app`