所以我正在尝试通过网络抓取一个网站,该网站具有我认为的表单 - 一些用于专门搜索的输入,例如 s 和文本输入 - 不在 中标签。 相反,它们似乎被分组在 中。 站点从那里使用 JavaScript 进行查询,所以基本上我想做的就是填写 'form'(各种输入),然后点击提交按钮并确保返回的信息安全。 但是,我找不到一种机械化的方法来抓取不在表单中的按钮、selects 等。有办法吗? Mechanize 无法在 JS 交互式网站上运行。 对于网络抓取,我建议使用 Kimurai 框架。它建立在 Mechanize 之上。 Kimurai is a modern web scraping framework written in Ruby which works out of box with Headless Chromium/Firefox, PhantomJS, or simple HTTP requests and allows to scrape and interact with JavaScript rendered websites. 在 抓取 时使用任何可用的 JS engines。 您可以执行触发事件显示表单的 JS,然后您可以使用水豚助手填写表单并提交 All the power of Capybara: use methods like click_on, fill_in, select, choose, set, go_back, etc. to
站点从那里使用 JavaScript 进行查询,所以基本上我想做的就是填写 'form'(各种输入),然后点击提交按钮并确保返回的信息安全。
但是,我找不到一种机械化的方法来抓取不在表单中的按钮、selects 等。有办法吗?
Mechanize 无法在 JS 交互式网站上运行。
对于网络抓取,我建议使用 Kimurai 框架。它建立在 Mechanize 之上。
Kimurai is a modern web scraping framework written in Ruby which works out of box with Headless Chromium/Firefox, PhantomJS, or simple HTTP requests and allows to scrape and interact with JavaScript rendered websites.
在 抓取 时使用任何可用的 JS engines。
您可以执行触发事件显示表单的 JS,然后您可以使用水豚助手填写表单并提交
All the power of Capybara: use methods like click_on, fill_in, select, choose, set, go_back, etc. to