为什么 NLTK wn.all_synsets() 在 wordnet return 同义词集列表中不起作用？

Question

我为问题编码：

What percentage of noun synsets have no hyponyms? You can get all noun synsets using wn.all_synsets('n').

这是我的代码：

import nltk
from nltk.corpus import wordnet as wn

all_noun = wn.all_synsets('n')
print(all_noun)
print(wn.all_synsets('n'))
all_num = len(set(all_noun))
noun_have_hypon = [word for word in wn.all_synsets('n') if len(word.hyponyms()) >= 1]
noun_have_num = len(noun_have_hypon)
print('There are %d nouns, and %d nouns without hyponyms, the percentage is %f' %
  (all_num, noun_have_num, (all_num-noun_have_num)/all_num*100))

当我运行这段代码时，输出是

<generator object all_synsets at 0x10927b1b0>

<generator object all_synsets at 0x10e6f0bd0>

There are 82115 nouns, and 16693 nouns without hyponyms, the percentage is 79.671193

但如果改变

noun_have_hypon = [word for word in wn.all_synsets('n') if len(word.hyponyms()) >= 1]

至

noun_have_hypon = [word for word in all_noun if len(word.hyponyms()) >= 1]

输出变为

<generator object all_synsets at 0x10917b1b0>

<generator object all_synsets at 0x10e46aab0>

There are 82115 nouns, and 0 nouns without hyponyms, the percentage is 100.000000

即使 all_noun = wn.all_synsets('n') 为什么两个答案不相等，0x10927b1b0 和 0x10e6f0bd0 的含义是什么？

Answer 1

与NLTK关系不大，更多的是Generator Expressions vs. List Comprehension的区别。

让我们来看一个小例子：

首先，让我们创建一个 return 简单列表的函数：

>>> def some_func_that_returns_a_list():
...     list_to_be_returned = []
...     for i in range(10):
...             list_to_be_returned.append(i)
...     return list_to_be_returned
... 
>>> some_func_that_returns_a_list()
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

请注意，在 some_func_that_returns_a_list() 函数中，需要创建一个列表，并在函数 return 之前将值放入调用它的代码中。

类似地，我们可以使用生成器来实现需要 return 的相同列表，但它有点不同，因为它使用了 yield 关键字：

>>> def some_func_that_returns_a_generator():
...     for i in range(10):
...             yield i
... 
>>>

请注意，在函数中没有要 returned 的列表的实例化。

当您尝试调用该函数时：

>>>some_func_that_returns_a_generator()
<generator object some_func_that_returns_a_generator at 0x7f312719a780>

您收到生成器的字符串表示形式，即描述函数的内容。此时，没有实例化值和生成器的指针，它应该比实例化列表的函数小：

>>> import sys
>>> sys.getsizeof(some_func_that_returns_a_generator())
80
>>> sys.getsizeof(some_func_that_returns_a_list())
200

由于生成器不会实例化您需要的结果列表的值，它只会一次弹出 yield 个项目，您需要 "manually" 遍历生成器获取列表，例如：

>>> list(some_func_that_returns_a_generator())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> [i for i in some_func_that_returns_a_generator()]
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

但在这种情况下，它正在创建列表 "on-the-fly" 如果您不打算停止列表而是一次读取一个元素，则生成器将是有利的（内存方面） .

另请参阅：

https://pythontips.com/2013/09/29/the-python-yield-keyword-explained/
What does the "yield" keyword do in Python?
Generator Expressions vs. List Comprehension

因此，对于 NLTK wn.all_synsets() WordNet API，您可以简单地执行以下操作：

>>> from nltk.corpus import wordnet as wn
>>> nouns_in_wordnet = list(wn.all_synsets('n'))

但请注意，它将在内存中保存作为名词的整个同义词集列表。

如果你想过滤超过1个上位词的名词，你可以避免使用filter()函数实例化一个完整的名词列表：

>>> filter(lambda ss: len(ss.hypernyms()) > 0, wn.all_synsets('n'))

最后算一下 "on-the-fly" 无需将 Synsets 存储在内存中，您可以这样做：

>>> len(filter(lambda ss: len(ss.hypernyms()) > 0, wn.all_synsets('n')))
74389

或更简单地说：

>>> sum(1 for ss in wn.all_synsets('n') if len(ss.hypernyms()) > 0)
74389

但您很可能想要访问同义词集，因此您可能正在寻找：

>>> nouns_with_hyper = filter(lambda ss: len(ss.hypernyms()) > 0, wn.all_synsets('n'))
>>> len(nouns_with_hyper)
74389

为什么 NLTK wn.all_synsets() 在 wordnet return 同义词集列表中不起作用？

Why doesn't NLTK wn.all_synsets() function in wordnet return a list of synsets?

python

nlp

generator

nltk

wordnet