使用来自雅虎财经的 bs4 阅读 url

Question

我正在尝试使用以下代码从 yahoo finance 读取历史 CSV 数据：

import datetime
import time
from bs4 import BeautifulSoup


per1 = str(int(time.mktime((datetime.datetime.today() - td(days=365)).timetuple())))
per2 = str(int(time.mktime((datetime.datetime.today()).timetuple())))
url = 'https://query1.finance.yahoo.com/v7/finance/download/MSFT?period1=' + per1 + '&period2=' + per2 + '&interval=1d&events=history&crumb=OQg/YFV3fvh'

url 变量可以在你进入雅虎金融时看到，输入代码并将鼠标悬停在 "download data" 按钮上。

我收到身份验证错误，我认为这是由于缺少 cookie，所以我尝试了以下操作：

import requests
ses = requests.Session()
url1 = 'https://finance.yahoo.com/quote/MSFT/history?p=MSFT'
ses.get(url1)
soup = BeautifulSoup(ses.get(url).content)
print soup.prettify()

这次我收到不正确的 cookie 错误。

有人可以建议如何解决这个问题吗？

Answer 1

查询字符串的 crumb 参数不断变化，可能每个浏览器都在变化 session。因此，当您从浏览器复制它的值、关闭它然后在浏览器的另一个实例中使用它时，它到那时就会过期。

因此，当您在 requests session 中使用它时，它不会识别 cookie 值并生成错误也就不足为奇了。

步骤 1

研究任何浏览器中的网络选项卡都会有所帮助。在这种特殊情况下，这个 crumb 部分可能是在您单击主页中的代码时生成的。所以你必须先获取 URL。

tickers = ('000001.SS', 'NKE', 'MA', 'SBUX')
url = 'https://finance.yahoo.com/quote/{0}?p={0}'.format(tickers[0])
r = s.get(url, headers = req_headers)

这个URL只需要获取一次。因此，您为此使用哪个自动收报机并不重要。

步骤 2

服务器返回的响应包含下载 CSV 文件时传递给查询字符串中 crumb 参数的值。

但是，它包含在上一个请求返回的页面的 script 标记中。这意味着您不能单独使用 BeautifulSoup 来提取 crumb 值。

我最初尝试 re 从 script 标签的文本中提取它。但出于某种原因，我无法做到。所以我转到 json 来解析它。

soup = BeautifulSoup(r.content, 'lxml')
script_tag = soup.find(text=re.compile('crumb'))

response_dict = json.loads(script_tag[script_tag.find('{"context":'):script_tag.find('}}}};') + 4])
crumb = response_dict['context']['dispatcher']['stores']['CrumbStore']['crumb']

请注意，需要 BeautifulSoup 来提取 script 元素的内容，以便稍后传递给 json 以将其解析为 Python dict object.

我不得不使用 pprint 将生成的 dict 打印到文件中，以查看碎屑值的确切存储位置。

步骤 3

获取 CSV 文件的最终 URL 如下所示：

for ticker in tickers:
    csv_url = 'https://query1.finance.yahoo.com/v7/finance/download/{0}?period1=1506656676&period2=1509248676&interval=1d&events=history&crumb={1}'.format(ticker, crumb)

    r = s.get(csv_url, headers = req_headers)

结果

这是下载文件的前几行：

Date,Open,High,Low,Close,Adj Close,Volume
2017-09-29,3340.311035,3357.014893,3340.311035,3348.943115,3348.943115,144900
2017-10-09,3403.246094,3410.169922,3366.965088,3374.377930,3374.377930,191700
2017-10-10,3373.344971,3384.025879,3358.794922,3382.988037,3382.988037,179400

注：

我在两个请求中都使用了适当的 headers。因此，如果您跳过该部分并且没有获得所需的结果，您可能还必须包括它们。

req_headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.8',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}

使用来自雅虎财经的 bs4 阅读 url

Reading url using bs4 from yahoo finance

beautifulsoup

python-3.5