使用网络爬虫的Django网站

Django website that use webcrawling

我在python做了一个网络爬虫,想做一个Django网站来显示爬取的结果,可以吗?例如:爬虫进入“https://whosebug.com/questions”,获取第一页的questins并显示在网站上(可能在Django的模板上)。

编辑:我刚刚重新阅读了您的问题,看起来您已经在进行数据抓取了?您应该将该功能实现到 Django 站点中,然后当然可以显示它。

是的,你可以做到。使用 django 进行网络抓取的一个很好的组合是使用 python 请求库(我猜你正在使用它)和 Beautiful Soup。我已经在几个不同的项目中使用过这种组合,我对它很满意。

另一种流行的选择是使用 python Scrapy 库并将其组合到名为 django-dynamic-scraper 的 django 应用程序中。

希望这能为您指明正确的方向。