如何使用 strtok 对使用 C++ 的表达式进行标记化

Question

我需要使用 strok 标记一个数学表达式..我已经做了一些事情但是我无法得到我的向量的分隔符当我运行我得到的代码 2x 4y 6 3 这个输出我怎样才能得到我的向量的分隔符以及我怎样才能得到我的输出这样 2x + 4y ^ 6 - 3 我的代码

int main()
    {
    vector<string> finalVector;
        char input[1024]="2x+4y^6-3";
        char *token = strtok(input, "^+-/()/t");
        while (token != NULL) {
            finalVector.push_back(token);

                    token = strtok(NULL, "^+-/()/t");
                    }
        for (int i = 0; i < finalVector.size(); i++)
            cout << finalVector.at(i) << " ";
        return 0;
        }

Answer 1

strtok 将找到的分隔符替换为空字符。分隔符已无法恢复。

如果您在第一次调用 strtok 之前复制您的字符串，您可以恢复分隔符：

char* to_strtok = strdup(input);
const char* delims = "^+-/()/t";
char* token;
for (token = strtok(to_strtok, delims);
     token != 0;
     token = strtok(0, delims))
{
  char delim = input[token - to_strtok + strlen(token)];
  if (delim != '[=10=]')
  {
     printf ("token=\"%s\" delim='%c'\n", token, delim);
  }
  else
  {
     printf ("last token=\"%s\"n", token);
  }

}

Answer 2

我知道您的问题是关于如何使用 strtok 执行此操作，但我的感觉是这最终会给您带来痛苦。我认为您至少应该考虑使用支持此功能的 boost tokenizer。事实上，boost 支持丢弃和保留分隔符的组合；保留的定界符存储为它们自己的标记：

// char_sep_example_2.cpp
#include <iostream>
#include <boost/tokenizer.hpp>
#include <string>

int main()
{
  std::string str = ";;Hello|world||-foo--bar;yow;baz|";
  typedef boost::tokenizer<boost::char_separator<char> > 
      tokenizer;
  boost::char_separator<char> sep("-;", "|", boost::keep_empty_tokens);
  tokenizer tokens(str, sep);
  for (tokenizer::iterator tok_iter = tokens.begin();
      tok_iter != tokens.end(); ++tok_iter)
      std::cout << "<" << *tok_iter << "> ";

  std::cout << "\n";
  return 0;
}

The output is:
<> <> <Hello> <|> <world> <|> <> <|> <> <foo> <> <bar> <yow> <baz> <|> <>

这很容易做到你想要的。我猜这会为你节省很多时间。参考：http://www.boost.org/doc/libs/1_58_0/libs/tokenizer/char_separator.htm

如何使用 strtok 对使用 C++ 的表达式进行标记化

how to use strtok to tokenize a expression using c++

c++

strtok