Java: 统计单词出现次数，程序统计'empty'个单词

Question

我有一个程序可以从文本文件中获取输入，删除标点符号，然后按单个 space 拆分并将结果统计到地图中。我可以让它工作，但我在地图中得到的结果也是空的，我不知道是什么原因：

扫描器接受输入：

try
        {
            Scanner input = new Scanner(file);
            String nextLine;
            while (input.hasNextLine())
            {
                nextLine = input.nextLine().trim();
                processLine(nextLine, occurrenceMap);
            }
            input.close();
        }
        catch(Exception e) { System.out.println("Something has gone wrong!");}

它从中提取的文本文件是圣经的詹姆斯国王版本然后一个单独的函数处理每一行：

//String[] words = line.replaceAll("[^a-zA-Z0-9 ]", " ").toLowerCase().split("\s+"); // runtime for  bible.txt is ~1600ms

// changed to simple iteration and the program ran MUCH faster:

char[] letters = line.trim().toCharArray();
for (int i=0; i<letters.length; i++)
{
    if (Character.isLetterOrDigit(letters[i])) {continue;}
    else {letters[i] = ' ';}
}

String punctuationFree = new String(letters);
String[] words = punctuationFree.toLowerCase().split("\W+");

// add each word to the frequency map:
for (int i=0; i<words.length; i++)
{
    if (! map.containsKey(words[i]))
    {
        map.put(words[i], 1);
    }
    else
    {
        int value = (int)map.get(words[i]);
        map.put(words[i], ++value);
    }
}

如您所见，我首先用全部替换来完成它，然后我想出了我自己的时髦迭代方法（这似乎运行更快）。在这两种情况下，当我使用 PrintWriter 打印出结果时，我在开头得到了一个奇怪的条目：

num occurences/ (number /word)

25307 :     // what is up with this empty value ?
1 : 000     // the results continue in sorted order
2830 : 1
2122 : 10
6 : 100
9 : 101
29 : 102
23 : 103
36 : 104
46 : 105
49 : 106

我已经尝试将 String[] words = punctuationFree.toLowerCase().split("\W+"); 更改为 .split("\s+") 和 .split(" ") 但我在结果中仍然得到这个空值。

我试图只计算单词和数字的出现次数，为什么我得到这个空值？

更新：根据 Character.isLetterOrDigit() 可能会返回不需要的字符的建议，我重写了检查以仅获取我想要的字符。尽管如此，我仍然得到一个神秘的空值：

for (int i=0; i<letters.length; i++)
    {
        if ((letters[i] >= 'a' && letters[i] <= 'z') || 
           (letters[i] >= 'A' && letters[i] <= 'Z'))
           {continue;}
        else if (letters[i] >= '0' && letters[i] <= '9')
           {continue;}
        else if ((letters[i] == ' ')||(letters[i] =='\n')||(letters[i] == '\t'))
           {continue;}
        else
            letters[i] = ' ';
    }

Answer 1

只是猜测，但字符方法 IsLetterOrDigit 被定义为适用于整个 unicode 范围。根据文档 page，它包括所有 "Valid letters and decimal digits are members of the following categories in UnicodeCategory: UppercaseLetter, LowercaseLetter, TitlecaseLetter, ModifierLetter, OtherLetter, or DecimalDigitNumber."

我认为这种方法保留了您不想要的字符（特别是 ModifierLetter 和/或 OtherLetter），并且这些字符不包含在您的字体中，因此您看不到它们。

编辑 1：我测试了你的算法。事实证明，空行绕过了您的测试，因为它跳过了 for 循环。您需要在从文件行中读取一行后添加一行长度：

if (nextLine.length() == 0) {continue;}

编辑 2：此外，由于您要扫描每个字符以剔除 "non-word and non-digits"，您还可以合并创建单词的逻辑并将它们添加到集合。像这样也许：

private static void WordSplitTest(String line) {
    char[] letters = line.trim().toCharArray();

    boolean gotWord = false;

    String word = "";

    for (int i = 0; i < letters.length; i++) {
        if (!Character.isLetterOrDigit(letters[i])) {

            if(!gotWord) {continue;}

            gotWord = false;

            AddWord(word);
        }
        if (gotWord) {
            word += Character.toString(letters[i]);
        }
    }
}

private static void AddWord(String word) {
    if (!map.containsKey(word)) {
        map.put(word, 1);
    } else {
        int value = (int) map.get(word);
        map.put(word, ++value);
    }
}

Java: 统计单词出现次数，程序统计'empty'个单词

Java: counting occurence of words, program counts 'empty' words

java

regex

dictionary

split

punctuation