使用 beautifulsoup 从 yahoo finance 抓取导致状态代码：404

Question

我正在尝试使用 beautifulsoup 从 yahoo finance 抓取一些数据，但我运行遇到了问题。我正在尝试运行以下代码，

import xlwings as xw
import requests
import bs4 as bs

r = requests.get('https://finance.yahoo.com/quote/DKK=X?p=DKK=X&.tsrc=fin-srch')
soup = bs.BeautifulSoup(r.content,'lxml',from_encoding='utf-8')

但是，当检查“soup”的输出时，我在部分中得到以下状态代码，

<body>
<!-- status code : 404 -->
<!-- Not Found on Server -->

我在 yahoo finance 的另一个交易对上运行完全相同的一段代码，没有任何问题。谁能告诉我我做错了什么？

提前致谢！

Answer 1

您需要注入用户代理才能获得 200 响应。

#import xlwings as xw
import requests
import bs4 as bs

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
r = requests.get('https://finance.yahoo.com/quote/DKK=X?p=DKK=X&.tsrc=fin-srch',headers=headers)
print(r)
soup = bs.BeautifulSoup(r.content,'lxml')

输出： <响应 [200]>

使用 beautifulsoup 从 yahoo finance 抓取导致状态代码：404

Scraping from yahoo finance with beautifulsoup resulting in status code : 404

python

beautifulsoup

web-scraping

yahoo-finance