向后迭代多字节字符串 - C

Question

我知道我可以在 C 语言中使用 mbrtowc() 向前迭代多字节字符串。但是，如果我想向后迭代怎么办？或者换句话说，我如何找到以前的有效多字节字符。我尝试了以下方法，它至少部分适用于我的 Ubuntu 系统，使用默认的 en_us.UTF-8 语言环境：

        char *str = "\xc2\xa2\xc2\xa1xyzwxfd\xc2\xa9", *tmp = NULL;
        wchar_t wc = 0;
        size_t ret = 0, width = 1;
        mbstate_t state = {0};

        //Iterate through 2 characters using mbrtowc()
        tmp = str;
        tmp += mbrtowc(&wc, tmp, MB_CUR_MAX, &state);
        tmp += mbrtowc(&wc, tmp, MB_CUR_MAX, &state);

        //This is a simplified version of my code. I didnt test this
        //exact code but this general idea did work.
        for(tmp--; (ret = mbrtowc(&wc, tmp, width, &state)) == (size_t)(-1) || ret == (size_t)(-2); width++, tmp--)
            if(width == MB_CUR_MAX) printf("error\n");

        printf("last multibyte character %lc\n", wc);

这个想法很简单，只需向后迭代一个字节，直到我们找到 mbrtowc() 定义的有效多字节字符。我的问题是我能否依靠它来处理任何可能的多字节语言环境或仅使用具有特殊属性的编码。更具体地说， mbstate_t 被错误使用；我的意思是方向的改变会影响 mbstate_t 的有效性吗？我可以保证 'ret' 只会是 (size_t)(-1) 或 (size_t)(-2) 而不是其中任何一个，因为我目前假设 'ret' 可能是两者都取决于不完整和无效的多字节字符的定义。

Answer 1

如果您需要处理任何理论上可能的多字节编码，则无法向后迭代。不要求多字节编码具有属性有效多字节序列的任何适当后缀都不是有效多字节序列。（碰巧，您的算法需要更强大的属性，因为您可能会识别出从一个有效序列的中间开始并继续到下一个序列的多字节序列。）

此外，如果多字节编码具有移位状态，则您无法（同样，通常）预测多字节状态。如果你备份一个改变状态的多字节序列，你不知道以前的状态是什么。

UTF-8 在设计时就考虑到了这一点。它没有移位状态，并且清楚地标记了可以开始序列的八位字节（字节）。所以如果你知道多字节编码是 UTF-8，你可以很容易地向后迭代。只需向后扫描不在 0x80-0xBF 范围内的字符。（UTF-16 和 UTF-32 也很容易在任一方向迭代，但您需要分别将它们读取为 two-/four-byte 代码单元，因为未对齐的读取很可能是正确的代码点。）

如果您不知道多字节编码是UTF-8，那么根本就没有强大的算法可以向后迭代。你所能做的就是向前迭代并记住每个字符的起始位置和mbstate。

幸运的是，如今除了 Unicode 编码之外，几乎没有理由支持多字节编码。

Answer 2

对于 UTF-8，您可以利用第一个字节之后的附加字节的 encoding property：多字节字符的附加字节（并且只有它们）以 10xx xxxx 开头。

所以如果你向后移动一个字符 c 是 (c & 0xC0)==0x80 那么你可以跳过它。

对于其他多字节编码，您不一定有如此简单的解决方案，因为前导字节和后续字节都在 ranges that overlap 中。

向后迭代多字节字符串 - C

Iterating backwards Multibyte String - C

c

c99

multibyte