逗号分隔标记到 const char 的向量**

Question

我正在尝试将逗号分隔的字符串转换为 const char* 的向量。使用以下代码，预期输出为

ABC_
DEF
HIJ

但我明白了

HIJ
DEF
HIJ

我哪里错了？

代码：

#include <iostream>
#include <boost/tokenizer.hpp>
#include <vector>
#include <string>
using namespace std;

int main()
{
   string s("ABC_,DEF,HIJ");
   typedef boost::char_separator<char> char_separator;
   typedef boost::tokenizer<char_separator> tokenizer;

   char_separator comma(",");
   tokenizer token(s, comma);
   tokenizer::iterator it;

   vector<const char*> cStrings;

   for(it = token.begin(); it != token.end(); it++)
   {
      //cout << (*it).c_str() << endl;
      cStrings.push_back((*it).c_str());
   }

   std::vector<const char*>::iterator iv;
   for(iv = cStrings.begin(); iv != cStrings.end(); iv++)
   {
      cout << *iv << endl;
   }
   return 0;
}

http://ideone.com/3tvnUs

编辑：借助以下答案的解决方案：（PaulMcKenzie 使用列表提供了一个更简洁的解决方案。）

#include <iostream>
#include <boost/tokenizer.hpp>
#include <vector>
#include <string>
using namespace std;

char* createCopy(std::string s, std::size_t bufferSize)
{
   char* value = new char[bufferSize];
   memcpy(value, s.c_str(), (bufferSize - 1));
   value[bufferSize - 1] = 0;
   return value;
}

int main()
{
   string s("ABC_,DEF,HIJ");
   typedef boost::char_separator<char> char_separator;
   typedef boost::tokenizer<char_separator> tokenizer;

   char_separator comma(",");
   tokenizer token(s, comma);
   tokenizer::iterator it;

   vector<const char*> cStrings;

   for(it = token.begin(); it != token.end(); it++)
   {
      //cout << it->c_str() << endl;
      cStrings.push_back(createCopy(it->c_str(),
                                      (it->length() + 1)));
   }

   std::vector<const char*>::iterator iv;
   for(iv = cStrings.begin(); iv != cStrings.end(); iv++)
   {
      cout << *iv << endl;
   }

   //delete allocations by new
   //...
   return 0;
}

Answer 1

事情是这样的：boost::tokenizer::iterator 不是 return 您对字符串副本的所有权，而是对内部副本的引用。

例如，在运行你的代码之后我得到：

HIJ
HIJ
HIJ

解决方法是将 cStrings.push_back((*it).c_str()) 替换为以下之一：

    char* c = new char[it->length() + 1];
    c[it->length()] = 0;
    cStrings.push_back(c);
    std::strncpy(c, it->c_str(), it->length());

看起来不漂亮，但你可能不会比那更快（至少如果你想使用 boost::tokenizer。

另一种选择是将 boost::tokenizer 完全替换为例如strtok - 示例可在此处找到：C split a char array into different variables

您也可以使用 boost::algorithm::string::split，但稍后您可能需要将 string 重新映射到 const char*。

Answer 2

这里有一个不需要动态分配的方法，同时给你想要的std::vector。诀窍是在 "permanent" 存储中创建参数，然后将指针向量设置为该存储。

下面的代码使用 std::list 作为永久存储。原因是我们可以保证 std::list 中的项目的迭代器不会在我们将项目添加到列表容器时失效。这是构建 const char *.

的最终向量时的必要要求

#include <iostream>
#include <boost/tokenizer.hpp>
#include <vector>
#include <string>
#include <list>

typedef std::vector<char> CharArray;
typedef std::list<CharArray> StringList;

using namespace std;

int main()
{
   StringList sList;

   string s("ABC_,DEF,HIJ");
   typedef boost::char_separator<char> char_separator;
   typedef boost::tokenizer<char_separator> tokenizer;

   char_separator comma(",");
   tokenizer token(s, comma);
   tokenizer::iterator it;

   vector<const char*> cStrings;

   for(it = token.begin(); it != token.end(); ++it)
   {
        // create an array of char and place on list
        sList.push_back(CharArray(it->begin(), it->end()));

        // null terminate this entry
        sList.back().push_back(0);

        // add the pointer to this entry to the vector of const char *.
        cStrings.push_back(&sList.back()[0]);
   }

   std::vector<const char*>::iterator iv;
   for(iv = cStrings.begin(); iv != cStrings.end(); iv++)
   {
      cout << *iv << endl;
   }
}

请注意，我们不必在这里动态分配内存。您唯一需要确保的是 StringList 不会超出范围，因为这是您的参数所在的位置。

逗号分隔标记到 const char 的向量**

Vector of comma separated token to const char**

c++

arrays

string

stdvector

boost-tokenizer