我可以对不同的 url 使用相同的 curl 句柄吗? (试图从一个 url 的多个页面下载数据)

Can I use same curl handle for different urls? (trying to download data from multiple pages of one url)

我正在尝试从一个 url 下载数据,它有多个页面。 例如)https://whosebug.com/questions/tagged/c%2b%2b?sort=newest&page=2&pagesize=15 我想从不同的页面下载所有数据 ex) pages=1, pages=2, pages=3 等..

如果我创建一个 curl 句柄与一个 url 与某个页面, 替换 urls (只有页码)而不用担心性能会好吗?

我每次移动到下一页并下载数据时都创建了 curl 句柄。 我从其他人那里得到建议,最好创建一个 ssl 会话并保持其连接,这样我就不必在创建 SSL 连接时进行所有 SSL 握手。

根据 Libcurl 页面,建议使用相同的句柄以提高性能,但我不确定是否可以使用不同的 URL。

您可以而且应该 re-use 相同的 curl 实例。继续重复 curl_easy_setopt(CURLOPT_URL, ...); curl_easy_perform(...); 个电话。

补充说明:

  1. 如果使用 curl_multi_init interface (example).

  2. ,您可以并行下载多个 URL
  3. StackExchange 有一个 very good REST API。就不用刮了