如何在 curl PHP 中伪装成一个网站?

How to Pretend to be an website in curl PHP?

所以我用 PHP - curl 构建了一个爬虫。所以我可以构建我的 API 并集成到我的应用程序中。 问题是我在一页中就被网站屏蔽了。

我的爬虫做了什么:

  1. 首先它会转到有一个 iframe 的网站(这个 iframe 里面有一个 iframe,我想得到它的 src)。
  2. 当它获得第一个 iframe url 时,它会向 iframe src 发送一个 curl 请求,但问题是该站点阻止了来自其网站以外的其他网站的任何请求。所以我被阻止了。有什么办法可以冒充本站URL

顺便说一句,这是网站 here 的 URL。你可以检查网站 iframe 看看我的意思。

对不起伙计!你不能。如果可能的话,我会冒充你的银行并窃取你的银行凭证!疯了吧?

您可以充当反向代理,例如: 我是用户,你是界面。 我来到您的网站 foo.com 并搜索 google.com。 你可以发送一个 curl 到 google.com,得到 google.com 的回复并给我看。 我在浏览器中看到 foo.com 地址,但实际上我正在浏览 google.comgoogle.com 认为您的服务器 (foo.com) 正在使用它的站点。不是我。 如果你有很多用户,google.com 可能会阻止你的服务器作为攻击者服务器。

阅读有关 CORS 和反向代理的更多信息。