Web Scraping - Requests ConnectionError: ('Connection aborted.', OSError("(60, 'ETIMEDOUT')",))

Question

我正在尝试访问网页。我尝试 'UserAgent' 添加 headers，但是出现超时错误：我的新密码：

from fake_useragent import UserAgent
import requests

url = "https://www.bestbuy.com/site/lg-65-class-oled-b9-series-2160p-smart-4k-uhd-tv-with-hdr/6360611.p?skuId=6360611"
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url_get = requests.get(url, headers=header)
print(url_get)

--> 285 引发 SocketError(str(e)) 286 除了 OpenSSL.SSL.ZeroReturnError 作为 e:

OSError: (60, 'ETIMEDOUT')

在处理上述异常的过程中，又发生了一个异常：

ProtocolError Traceback（最后一次调用） /anaconda3/lib/python3.6/site-packages/requests/adapters.py in send(self, request, stream, timeout, verify, cert, proxies) 439次重试=self.max_retries, --> 440 超时=超时 441）

--> 285 引发 SocketError(str(e)) 286 除了 OpenSSL.SSL.ZeroReturnError 作为 e:

协议错误: ('Connection aborted.', OSError("(60, 'ETIMEDOUT')",))

在处理上述异常的过程中，又发生了一个异常：

Answer 1

您不需要使用 fake_useragent ，只需尝试这样的...将代理 cookie 变量传递给请求

import requests

url = "https://www.bestbuy.com/site/lg-65-class-oled-b9-series-2160p-smart-4k-uhd-tv-with-hdr/6360611.p?skuId=6360611"
agent = {"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'}
cookies = {"cookie":"COPY_HERE_YOUR_COOKIE_FROM_BROWSER"}
url_get = requests.get(url,headers=agent, cookies=cookies)
print(url_get.text)

如果您不知道如何获取 cookie，只需在浏览器中单击右键（Chrome 示例）-> 检查 > 网络 ...当您加载网络时，查看第一个请求并查看 headers。此代码对我有用。

Web Scraping - Requests ConnectionError: ('Connection aborted.', OSError("(60, 'ETIMEDOUT')",))

Web Scraping - Requests ConnectionError: ('Connection aborted.', OSError("(60, 'ETIMEDOUT')",))

python

web-scripting

python-requests