网站仅加载一次然后访问被拒绝 - Selenium Webdriver

Question

我们正在尝试访问网站

Url=https://www.nseindia.com/option-chain 使用硒。

但是，如果我们重新加载它，它只会加载一次，我们会收到拒绝访问错误。

代码-

from webdriver_manager.chrome import ChromeDriverManager
import time
from selenium.webdriver.chrome.options import Options
opts = Options()
user_agent =  ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/39.0.2171.95 Safari/537.36')
opts.add_argument(f'user-agent={user_agent}')
opts.add_argument('--disable-infobars')

browser  = webdriver.Chrome(ChromeDriverManager().install())
browser.get('https://www.nseindia.com/option-chain')
time.sleep(1000)

Answer 1

一些网站使用反机器人保护，由于自动浏览器和标准浏览器之间存在一些差异，因此可以检测到您的机器人。您应该尝试添加这些设置：

opts.add_argument('--disable-blink-features=AutomationControlled')
opts.add_experimental_option('useAutomationExtension', False)
opts.add_experimental_option("excludeSwitches", ["enable-automation"])

如果这不起作用，请尝试 Undetected Chromedriver，它像标准 chrome 驱动程序一样工作，但它用更多设置修补它以增加隐蔽性。

顺便说一句，你的用户代理看起来有点过时了，你应该根据你的chrome驱动程序版本申请一个更新的，比如这个：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36

网站仅加载一次然后访问被拒绝 - Selenium Webdriver

Website Loading Only once then access denied - Selenium Webdriver

selenium

selenium-chromedriver

selenium-webdriver