一家大型杂货连锁店的网站似乎阻止我的网络爬虫收集网页上的信息

Question

我正在尝试从该服务器上的 https://www.kroger.com/cl/coupons/ using Watir but when I do I get the message "Access Denied You don't have permission to access "http://www.smithsfoodanddrug.com/cl/coupons/ 中抓取信息。参考 #18.f6ddedcc.1546972451.30a85f8f “

我查看了其他可能也有我正在寻找的信息的网站，但它们似乎不是最新的。

def save
    require 'watir'

    @browser = Watir::Browser.new :chrome, headless: true
    @browser.goto "https://www.smithsfoodanddrug.com/cl/coupons/"
    sleep 5
    @divs = @browser.divs
    @spans = @browser.spans
    @body = @browser.body
end

我的预期结果是，如果您在普通浏览器上访问网站，我会看到网页上的优惠券。

Answer 1

他们似乎在阻止对其网站的自动访问。你甚至不能卷曲他们的网站。