从字符串中删除重复的单词时出现字符串标记化问题

Question

我在下面的代码中试图做的是标记一个字符串并将每个标记存储在一个动态分配的结构中，但排除任何重复项。

这段代码可以正常工作，直到我输入一个包含两个相同单词的字符串。例如，字符串 "this this" 也会存储第二个单词，即使它是相同的。但是，如果我改为输入 "this this is"，它会删除第二个 "this"，并完全忽略字符串的最后一个单词，这样即使字符串中有重复项也不会被删除。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define dim 70


typedef struct string {
  char* token[25];
} string;

int main() {

  string* New = malloc(dim*sizeof(string));

  char* s;
  char* buffer = NULL;
  int i = 0, r = 0;

  s = malloc(dim * sizeof(char));

  fgets(s, dim, stdin);

  printf("The string is: %s\n", s); 

  New->token[i] = malloc(dim*sizeof(char));
  New->token[i] = strtok(s, " ");
  ++i;

  while((buffer = strtok(NULL, " ")) && buffer != NULL){

    printf("\nbuffer is: %s", buffer);

    for(r = 0; r < i; ++r) {

      if(strcmp(New->token[r], buffer) != 0 && r == i-1) {

        New->token[i] = malloc(strlen(buffer)*sizeof(char)+1);
        New->token[i] = buffer;
        ++i;

      }
      else if(New->token[r] == buffer) {
            break;
      }

    }



  }

printf("\n New string: ");
for(i = 0; New->token[i] != NULL; ++i) {
   printf(" %s", New->token[i]);
}


return 0;
}

在我看来，这应该可以正常工作，但我真的很难找到我在这里做错了什么。如果您需要更多信息，请直接问我，对于最终的不清晰（以及我的英语），我深表歉意。

Answer 1

你比较的是指针而不是字符串。替换

  }
  else if(New->token[r] == buffer) {
        break;

有

  }
  else if(strcmp(New->token[r], buffer) == 0) {
        break;

您还需要复制缓冲区：

memcpy(New->token[i],buffer,strlen(buffer)+1);

而不是

New->token[i] = buffer;

或将这两行（连同 malloc）替换为

New->token[i] = strdup(buffer);

并且最好将strtok替换为strtok_r（strtok不可重入）。

Answer 2

完全重写此答案以解决我第一次没有看到的一些根本错误的事情。请参阅底部代码中的内联注释以解释一些构造更改：

我运行你的代码完全照原样看到了你所描述的内容，除了在另一个答案中关于使用 strcmp 的注释外，发现了几行可以调整的代码，或删除以使其按照您描述的方式执行：

首先，结构定义创建了一个指向字符数组的指针。根据您稍后在代码中所做的事情，您需要的是一个简单的 char

数组

typedef struct string {
  //char* token[25]; //this create a pointer to array of 25 char
  char token[25]; //this is all you need
} string;

您稍后会看到，这将大大简化内存分配。

一些基本问题：

在解析定界符中包含 \n 换行符。当 <enter> 作为输入字符串的结尾时，会附加一个换行符，导致 this 的第一个实例和 this\n 的第二个实例不相等。

while((buffer = strtok(NULL, " \n")) && buffer != NULL){
                               ^^

此行正在创建未初始化的内存。

string* New = malloc(dim*sizeof(string));

关于使用 malloc() vs. calloc() 的注意事项：malloc() 使它创建的内存未初始化，而 calloc() 创建一个全部初始化为 0 的内存块。

使用 malloc()

创建的内存

使用 calloc() 创建的内存：

这在您的代码中的几个地方变得很重要，但特别是我在最后一节中看到一个问题：

for(i = 0; New->token[i] != NULL; ++i) {
   printf(" %s", New->token[i]);
}

如果为 New 创建的内存未初始化，当索引 i 递增超出您明确指定的内存区域时，您可能会遇到运行时间错误写入并循环尝试测试 New->token[i]。如果 New->token[i] 包含除 0 之外的任何内容，它将尝试打印该内存区域。

您还应该通过相应调用 free() 来释放代码中创建的每个内存实例。

所有这些以及更多内容都在以下重新编写的代码中得到解决：（针对 this is a string a string 进行了测试。）

typedef struct string {
  //char* token[25]; //this create a pointer to array of 25 char
  char token[25]; //this is all you need
} string;

int main() {
    char* s;
    char* buffer = NULL;
    int i = 0, r = 0;

    string* New = calloc(dim, sizeof(string));//Note: This creates an array of New.
                                              //Example: New[i]
                                              //Not: New->token[i]
    s = calloc(dim , sizeof(char));
    fgets(s, dim, stdin);
    printf("The string is: %s\n", s); 
    buffer = strtok(s, " \n");
    strcpy(New[i].token, buffer); //use strcpy instead of = for strings
    //restuctured the parsing loop to a more conventional construct
    // when using strtok:
    if(buffer)
    {
        ++i;
        while(buffer){
            printf("\nbuffer is: %s", buffer);
            for(r = 0; r < i; ++r) {
                if(strcmp(New[r].token, buffer) != 0 && r == i-1) {
                    strcpy(New[i].token, buffer);
                    ++i;
                }
                else if(strcmp(New[r].token, buffer)==0) {
                    break;
                }
            }
            buffer = strtok(NULL, " \n");
        }
    }
    printf("\n New string: ");
    for(i = 0; i<dim; i++) {
        if(New[i].token) printf(" %s", New[i].token);
    }
    free(New);
    free(s);
    return 0;
}

Answer 3

该结构似乎没有必要。
这使用一个指针数组来存储标记。
可以使用 strspn 和 strcspn.
解析输入唯一标记被添加到指针数组中。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define DIM 70

int main() {
    char* token[DIM] = { NULL};

    char s[DIM];
    char* buffer = s;
    int unique = 0, check = 0;
    int match = 0;
    int loop = 0;
    size_t space = 0;
    size_t span = 0;

    fgets(s, DIM, stdin);

    printf("The string is: %s\n", s);

    while ( unique < DIM && *buffer){//*buffer not pointing to zero terminator
        space = strspn ( buffer, " \n\t");//leading whitespace
        buffer += space;//advance past whitespace
        span = strcspn ( buffer, " \n\t");//not whitespace
        if ( span) {
            printf("\ntoken is: %.*s", (int)span, buffer );//prints span number of characters
        }
        match = 0;
        for ( check = 0; check < unique; ++check) {
            if ( 0 == strncmp ( token[check], buffer, span)) {
                match = 1;//found match
                break;
            }
        }
        if ( ! match) {//no match
            token[unique] = malloc ( span + 1);//allocate for token
            strncpy ( token[unique], buffer, span);//copy span number of characters
            token[unique][span] = 0;//zero terminate
            ++unique;//add a unique token
        }
        buffer += span;//advance past non whitespace for next token
    }

    printf("\n New string: ");
    for( loop = 0; loop < unique; ++loop) {
        printf(" %s", token[loop]);//print the unique tokens
    }
    printf("\n");
    for( loop = 0; loop < unique; ++loop) {
        free ( token[loop]);//free memory
    }
    return 0;
}

从字符串中删除重复的单词时出现字符串标记化问题

String Tokenization problem occurs when deleting duplicate words from a string

c

string

duplicates

tokenize

strtok