结果数 google(或其他)以编程方式搜索
Number of results google (or other) search programmatically
我正在做一个小的个人项目。
理想情况下,我希望能够以编程方式进行 google 搜索并计算结果数。 (我的目标是比较大量(100000+)不同短语之间的结果计数)。
有没有一种免费的方法可以通过使用 Google Bing 或其他方式(来源并不重要)进行网络搜索并比较不同文本的 popularity
。
我试过 Google 但似乎我每天只能自由地执行 10 个请求。
Bing 更宽松(每月 5000 个免费请求)。
是否有其他工具或方法可以自由统计特定句子的结果数量?
提前致谢。
如果您要创建一个简单的搜索引擎,您将需要一些东西。
首先你应该阅读并理解信息检索领域从哪里开始G. Salton's paper or at least read the wiki page on the vector space model. It will require you learning at least some undergraduate linear algebra. I suggest Gilbert Strang's MIT video lectures for this。
然后您可以转到 Brin/Page Pagerank 论文,其中阐述了 hyperlink 矩阵背后的原始概念并快速计算用于排名的特征向量或阅读 the wiki page.
您可能也有兴趣查看 Apache Lucene
的代码
要学习现代搜索算法技术,您需要微积分和回归分析来学习机器学习和深度学习,因为当前 google 搜索已经脱离 Pagerank 并利用这些技术。这部分是由于 link 农业如何使人们能够人为地设计搜索结果以及现代浏览器和网络服务器允许收集的大量元数据。
编辑:
对于仅限网络爬虫的部分,我推荐 WebSPHINX。我在大学的高级研究中结合 Lucene 使用了它。
我正在做一个小的个人项目。 理想情况下,我希望能够以编程方式进行 google 搜索并计算结果数。 (我的目标是比较大量(100000+)不同短语之间的结果计数)。
有没有一种免费的方法可以通过使用 Google Bing 或其他方式(来源并不重要)进行网络搜索并比较不同文本的 popularity
。
我试过 Google 但似乎我每天只能自由地执行 10 个请求。 Bing 更宽松(每月 5000 个免费请求)。
是否有其他工具或方法可以自由统计特定句子的结果数量? 提前致谢。
如果您要创建一个简单的搜索引擎,您将需要一些东西。
首先你应该阅读并理解信息检索领域从哪里开始G. Salton's paper or at least read the wiki page on the vector space model. It will require you learning at least some undergraduate linear algebra. I suggest Gilbert Strang's MIT video lectures for this。
然后您可以转到 Brin/Page Pagerank 论文,其中阐述了 hyperlink 矩阵背后的原始概念并快速计算用于排名的特征向量或阅读 the wiki page.
您可能也有兴趣查看 Apache Lucene
的代码要学习现代搜索算法技术,您需要微积分和回归分析来学习机器学习和深度学习,因为当前 google 搜索已经脱离 Pagerank 并利用这些技术。这部分是由于 link 农业如何使人们能够人为地设计搜索结果以及现代浏览器和网络服务器允许收集的大量元数据。
编辑:
对于仅限网络爬虫的部分,我推荐 WebSPHINX。我在大学的高级研究中结合 Lucene 使用了它。