是否可以将文本文件设置为 UTF-16？

Question

我编写文本的代码适用于 ANSI 字符，但是当我尝试编写日文字符时，它们不会出现。我需要使用 UTF-16 编码吗？如果是这样，我将如何在代码上做到这一点？

std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;
myfile.open(filename, ios::app);
getline(wcin, text);
myfile << text << endl;
wcin.get();
myfile.close();

Answer 1

遗憾的是在标准 C++ 中处理编码不是很方便。在 Posix 系统上，单字节流工作得更好，在 Windows wchar_t 上，流更方便。

要处理文件编码，您需要设置 std::locale on stream using imbue。

请注意，boost 扩展了语言环境功能，因此您可能必须使用它才能正常工作。

通常建议使用系统语言环境：

// set global locale so wcin is able to read data properly
std::locale::global(std::locale{""});

std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;

// if you need some specific text encoding check which one your system supports
// it may be something like "C.UTF-16"
myfile.imbue(std::locale{""});
myfile.open(filename, ios::app);
getline(wcin, text);
myfile << text << endl;
wcin.get();

Answer 2

从评论来看，您的控制台似乎可以正确理解 Unicode，问题仅在于文件输出。

下面是如何用 UTF-16LE 编写文本文件。刚刚在 MSVC 2019 中测试并且有效。

#include <string>
#include <fstream>
#include <iostream>
#include <codecvt>
#include <locale>

int main() {
    std::wstring text = L"test тест 試験.";
    std::wofstream myfile("test.txt", std::ios::binary);
    std::locale loc(std::locale::classic(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::little_endian>);
    myfile.imbue(loc);
    myfile << wchar_t(0xFEFF) /* UCS2-LE BOM */;
    myfile << text << "\n";
    myfile.close();
}

你必须在Windows下使用std::ios::binary模式输出，否则\n会扩展到\r\n破坏它，最终发出 3 个字节而不是 2 个字节。

您不必在一开始就写 BOM，但是有了 BOM 可以大大简化在文本编辑器中使用正确编码打开文件的过程。

不幸的是，std::codecvt_utf16 自 C++17 以来已被弃用，没有替代品（是的，C++ 中的 Unicode 支持那不好）。

Answer 3

扩展我对您的回答，这里有一个用于编写文件的 C 库解决方案。我将源代码保存为 UTF-8 并使用 Microsoft“cl /EHsc /W4 /utf-8 test.cpp”编译。

#include <fcntl.h>
#include <io.h>
#include <string>
#include <iostream>

using namespace std;

int main()
{
    // Declare console I/O that works with Unicode.
    _setmode(_fileno(stdout),  _O_U16TEXT);
    _setmode(_fileno(stdin), _O_WTEXT);

    // Send a string to the console to verify stdout works with wide strings.
    wstring s = L"こんにちは, 世界!\nHello, World!";
    wcout << s << endl;

    // Read an input string.  I used an IME to enter Chinese.
    // Verify the stdin works...
    wstring test;
    getline(wcin, test);

    // Write it back out to stdout...
    wcout << test << endl;

    // Write it to a file as UTF-16.
    FILE *dest = fopen("out.txt", "w, ccs=UTF-16LE");
    fwprintf(dest, L"%s", test.c_str());
    return 0;
}

输出（控制台）：

C:\>test
こんにちは, 世界!
Hello, World!
你好，马克！
你好，马克！

C:\>type out.txt
你好，马克！

文件内容的十六进制转储显示 UTF-16LE w/ BOM 编码：

ff fe 60 4f 7d 59 0c ff 6c 9a 4b 51 01 ff

是否可以将文本文件设置为 UTF-16？

Is it possible to set a text file to UTF-16?

c++

windows

unicode

utf-16

text-files