处理网络错误 Python，网络爬虫

Question

我正在一个大型网站上制作网络爬虫。但是，由于不稳定 connection.Thus，它总是遇到关闭的连接、SSL 错误或其他间歇性故障。我正在寻找解决此问题的方法。这是我下面的代码，谁能告诉我如何实现等待或在有网络连接时再次尝试重新启动项目

try:
     requests.get("http://example.com")
except requests.exceptions.RequestException:
     pass  # handle the exception. maybe wait and try again later

Answer 1

无需尝试监听网络接口本身，您可以在失败时添加一个简单的'retry'机制：

import time

while True:
    try:
        requests.get("http://example.com")
        break  # you can also check the returned status before breaking the loop
    except requests.exceptions.RequestException:
        time.sleep(300)  # wait 5 mins before retry