使用多个定界符拆分字符串，允许引用值

Question

docs for boost::escaped_list_separator 对第二个参数c的解释如下：

Any character in the string c, is considered to be a separator.

所以，我需要用多个分隔符拆分字符串，允许引用值，其中可以包含这些分隔符：

#include <iostream>
#include <string>

#include <boost/tokenizer.hpp>

int main() {
    std::wstring str = L"2   , 14   33  50   \"AAA BBB\"";

    std::wstring escSep(L"\"); //escape character
    std::wstring delim(L" \t\r\n,"); //split on spaces, tabs, new lines, commas
    std::wstring quotes(L"\""); //allow double-quoted values with delimiters within

    boost::escaped_list_separator<wchar_t> separator(escSep, delim, quotes);
    boost::tokenizer<boost::escaped_list_separator<wchar_t>, std::wstring::const_iterator, std::wstring> tok(str, separator);

    for(auto beg=tok.begin(); beg!=tok.end();++beg)
        std::wcout << *beg << std::endl;

    return 0;
}

预期结果为 [2; 14; 33; 50； AAA BBB]。但是，他的代码 results 在一堆空标记中：

常规 boost::char_separator 忽略所有这些空标记，考虑所有分隔符。 boost::escaped_list_separator 似乎也考虑了所有指定的定界符，但产生了空值。是不是如果遇到多个连续的定界符，就会产生空的token？有什么办法可以避免这种情况吗？

如果始终为真，即只生成空标记，则很容易测试结果值并手动忽略它们。但是，它可能会变得非常丑陋。例如，假设每个字符串都有 2 个实际值，并且可能有许多制表符和 spaces 分隔这些值。然后将分隔符指定为 L"\t "（即 space 和制表符）将起作用，但会产生大量空标记。

Answer 1

根据 Boost Tokenizer 文档判断，您假设如果遇到多个连续的定界符，使用 boost::escaped_list_separator 时将生成空标记，这确实是正确的。与 boost::char_separator 不同，boost::escaped_list_separator 不提供任何允许您传入是保留还是丢弃生成的任何空令牌的构造函数。

虽然可以选择丢弃空标记可能不错，但当您考虑文档 (http://www.boost.org/doc/libs/1_64_0/libs/tokenizer/escaped_list_separator.htm) 中提供的用例（解析 CSV 文件）时，保留空标记非常有意义。空场仍然是场。

一种选择是在标记化之后简单地丢弃空标记。如果您担心空标记的生成，另一种方法是在将其传递给标记器之前删除重复的定界符，但显然您需要注意不要删除引号内的任何内容。

使用多个定界符拆分字符串，允许引用值

Splitting string with multiple delimiters, allowing quoted values

c++

string

boost

boost-tokenizer