计算网页的 tf-idf
calculating tf-idf for web pages
我是 IR 新手，我想计算网页的 tf-idf。
对于"tf"部分，我想计算一个网页内容中每个词的出现频率。
对于"idf"部分，我想比较多个网页的内容。
是否有 tool/API 可以帮助解决这个问题？任何平台都可以。有人可以解释一下我该如何实现吗？
谢谢大家
您需要先使用 Lucene 等工具为一组网页编制索引。这些索引框架将为您创建两件事...首先是一个 倒排索引 ，即一个术语出现在其中的文档列表（类似于一本书的索引，其中每个重要术语都会存储一个列表，指示这些术语出现在哪些页面中）...这负责 tf 部分...第二个是 collection statistics 存储全局（不是每个文档）统计信息，例如文档频率（在多少文档中
出现一个词）等等
然后在检索阶段使用这两个文件来return排名靠前的文档列表。这是关于 Lucene 的一个不错的 tutorial，它应该可以帮助您入门。特别有用的是 类 IndexWriter、StandardAnalyzer、Document、 IndexSearcher 和 BM25相似度.
我是 IR 新手，我想计算网页的 tf-idf。
对于"tf"部分，我想计算一个网页内容中每个词的出现频率。
对于"idf"部分，我想比较多个网页的内容。
是否有 tool/API 可以帮助解决这个问题？任何平台都可以。有人可以解释一下我该如何实现吗？
谢谢大家
您需要先使用 Lucene 等工具为一组网页编制索引。这些索引框架将为您创建两件事...首先是一个 倒排索引 ，即一个术语出现在其中的文档列表（类似于一本书的索引，其中每个重要术语都会存储一个列表，指示这些术语出现在哪些页面中）...这负责 tf 部分...第二个是 collection statistics 存储全局（不是每个文档）统计信息，例如文档频率（在多少文档中 出现一个词）等等
然后在检索阶段使用这两个文件来return排名靠前的文档列表。这是关于 Lucene 的一个不错的 tutorial，它应该可以帮助您入门。特别有用的是 类 IndexWriter、StandardAnalyzer、Document、 IndexSearcher 和 BM25相似度.