创建代码以执行数百次 google 搜索并提取发布日期
Creating a code to perform hundreds of google searches and extract publication date
如何使用 python 创建一个脚本来执行数百次 google 搜索以收集第一个 link.
的发布日期
您想做的是创建一个蜘蛛。 Scrapy 是在 python 上实现它们的一种方式。你告诉它如何转到下一页以及你想要抓取什么等等,它会为你做。您可以从它的 git 回购 https://github.com/scrapy/scrapy
中研究更多
但请注意 Google 并不真的希望人们抓取并已部署一些反制措施。
这里有一些关于搜索引擎抓取的信息
https://en.wikipedia.org/wiki/Search_engine_scraping
如何使用 python 创建一个脚本来执行数百次 google 搜索以收集第一个 link.
的发布日期您想做的是创建一个蜘蛛。 Scrapy 是在 python 上实现它们的一种方式。你告诉它如何转到下一页以及你想要抓取什么等等,它会为你做。您可以从它的 git 回购 https://github.com/scrapy/scrapy
中研究更多但请注意 Google 并不真的希望人们抓取并已部署一些反制措施。
这里有一些关于搜索引擎抓取的信息 https://en.wikipedia.org/wiki/Search_engine_scraping