Capybara:Scraper 访问加拿大网站而不是美国网站。 Indeed.com

Capybara: Scraper visits Canadian website instead of US. Indeed.com

我修改了一个过时的机器人,它适用于 indeed.com 上的职位日期。

我想知道如何访问网站的美国版 indeed.com。曾经有一个 link 表示 "for US, click here" 但他们将其完全删除。现在当 运行 机器人时,我只能在加拿大获得招聘信息。

但是,当我以加拿大居民身份从浏览器访问 indeed.com 时,它会直接将我带到美国网站。事情就是没有意义。机器人是否正在下载不同的页面?有没有办法在代码中指定我搜索美国网站或我的浏览器来自美国 region/IP-address?

提前致谢。

原代码如下: https://github.com/jmopr/job-hunter/blob/master/scraper.rb

还有一个问题,因为我不使用 selenium 而是使用 webkit。看来我无法使用命令save_and_open_page。 webkit 有替代品吗?这将使我能够看到机器人正在访问的站点并使调试更加容易。

如果我访问加拿大网站 ca.indeed.com,底部仍然有一个 link 用于美国职位,不确定是否适合您。 save_and_open_pagesave_and_open_screenshot 都应该与 capybara-webkit 驱动程序一起工作(这是指定 :webkit 给你的)只要你在 page 上调用它们,但是为什么不只是为此切换到使用 Firefox 或 Chrome,这样您就可以确切地看到发生了什么。

删除 Capybara::Webkit.configure,并要求 'capybara-webkit'。相反,需要 selenium-webdriver 并设置 Capybara.default_driver(如果你愿意,可以设置 Capybara.javascript_driver,尽管它实际上在该代码中没有做任何事情并且可以被删除)到 :selenium for Firefox 或 :selenium_chrome Chrome.