在 Symfony 的 domCrawler 组件中使用 HTTP 代理

Question

我正在使用 DomCrawler 组件为 HTML 和 XML 文档制作 DOM 导航。

当我这样使用时：

use Goutte\Client;

$client = new Client();
$crawler = $client->request('GET', 'https://www.google.com');

我将使用我的客户端 IP 连接到 google。有没有办法为该连接使用代理服务器来抓取 HTML 掩蔽我的 IP 的数据？

Answer 1

我可以这样做：

$client = new Client();
    $client->getClient()->setDefaultOption('config', ['curl' => [
        CURLOPT_PROXY => "proxyaddress:proxy",
        CURLOPT_PROXYUSERPWD => "user:pass",
        CURLOPT_COOKIEFILE => dirname(__FILE__). "/cookies.txt",
        CURLOPT_COOKIEJAR => dirname(__FILE__). "/cookies.txt"
    ]
    ]);

在 Symfony 的 domCrawler 组件中使用 HTTP 代理

Using HTTP proxy in domCrawler component of Symfony

proxy

http-proxy

web-scraping