Guzzle Symfony 在多个服务器内抓取 iframe
Guzzle Symfony scrape iframes inside multiple Servers
我正在使用 guzzle 和 symfony dom 爬虫构建一个 抓取 内容的爬虫,但我 运行 遇到了问题。
我正在抓取的页面有多个 iframe 服务器,当抓取器加载页面时,它们默认显示 iframe,但为了获得其他服务器,它需要单击那里的按钮,因此它反映了服务器 iframe。
我该怎么做?
Guzzle 无法呈现 Javascript 网站,因此它不支持
有两种解决方法,要么检查网络选项卡并将请求发送到 ajax link 他们从中获取 iframe,要么使用 symfony Panther 作为他们支持的无头浏览器库 javascript 网站甚至绕过 Cloudflare 保护
我正在使用 guzzle 和 symfony dom 爬虫构建一个 抓取 内容的爬虫,但我 运行 遇到了问题。
我正在抓取的页面有多个 iframe 服务器,当抓取器加载页面时,它们默认显示 iframe,但为了获得其他服务器,它需要单击那里的按钮,因此它反映了服务器 iframe。
我该怎么做?
Guzzle 无法呈现 Javascript 网站,因此它不支持
有两种解决方法,要么检查网络选项卡并将请求发送到 ajax link 他们从中获取 iframe,要么使用 symfony Panther 作为他们支持的无头浏览器库 javascript 网站甚至绕过 Cloudflare 保护