如何让 puppeteer 等待来自 Cloudflare 浏览器检查的页面重定向？

Question

我正在抓取一个网站，在提交表单后我被重定向到这个 -

Checking your browser before accessing <Website Name>.
This process is automatic. Your browser will redirect to your requested content shortly.

Please allow up to 5 seconds…

DDoS protection by Cloudflare
Ray ID: <Some ID>

现在，通常当我自己从“真正的网络浏览器”手动提交该表单时，我几乎会在浏览器检查内容出现后立即被重定向到主要内容。但在 puppeteer 中，它不会。

我曾尝试使用 page.waitForNavigation()，但无法正常工作。有什么办法可以真正通过这个检查过程吗？或者木偶操纵者刚刚被阻止？

提前致谢！

Answer 1

您可以等待网页上的特定元素。例如 header 什么的。

使用await page.waitForElement(selector);

Answer 2

您可以使用 puppeteer-extra 来添加不同的插件，例如 StealthPlugin 或 AdblockerPlugin。看看他们的文档。

如何让 puppeteer 等待来自 Cloudflare 浏览器检查的页面重定向？

How to make puppeteer wait for page redirect from Cloudflare browser check?

javascript

browser

ddos

cloudflare

puppeteer