使用 DDoS 防护解析站点
Parse a site with DDoS guard
我阅读了大量有关使用 selenium 和 chromedriver 的信息。没有任何帮助。
然后我试了undetected_chromedriver:
import undetected_chromedriver as uc
url = "<url>"
driver = uc.Chrome()
driver.get(url)
driver.quit()
但是，出现了这样一个错误：
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)>
避免此错误的网络指南没有帮助。
也许只有一种方法可以让代码等待 5 秒，直到浏览器签入进程？
因此您需要安装一个名为 beautifulsoup4 的库和请求。
pip install beautifulsoup4
pip install requests
之后，试试这个代码：
from bs4 import BeautifulSoup
import requests
html = requests.get("your url here").text
soup = BeautifulSoup(html, 'html.parser')
print(soup)
#use this to try to find elements:
#find_text = soup.find('pre', {'class': 'brush: python; title: ; notranslate'}).get_text()
这是 beautifulsoup 的文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
嗯，
我使用 Grap 方法而不是请求。
现在可以了。我觉得有绕过的方法。
我阅读了大量有关使用 selenium 和 chromedriver 的信息。没有任何帮助。
然后我试了undetected_chromedriver:
import undetected_chromedriver as uc
url = "<url>"
driver = uc.Chrome()
driver.get(url)
driver.quit()
但是，出现了这样一个错误：
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)>
避免此错误的网络指南没有帮助。
也许只有一种方法可以让代码等待 5 秒，直到浏览器签入进程？
因此您需要安装一个名为 beautifulsoup4 的库和请求。
pip install beautifulsoup4
pip install requests
之后，试试这个代码：
from bs4 import BeautifulSoup
import requests
html = requests.get("your url here").text
soup = BeautifulSoup(html, 'html.parser')
print(soup)
#use this to try to find elements:
#find_text = soup.find('pre', {'class': 'brush: python; title: ; notranslate'}).get_text()
这是 beautifulsoup 的文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
嗯，
我使用 Grap 方法而不是请求。
现在可以了。我觉得有绕过的方法。