使用 Python 从中国股票网站抓取数据 table

Question

我正在尝试从中文网站上抓取部分数据。我要抓取的网站是：http://data.10jqka.com.cn/market/yybzjsl/HTZQGFYXGSCDSJLZQYYB

我想获取下面的全部数据table：

共有 86 页。下面的代码没有成功。有人可以帮帮我吗？

import urllib2, pandas,json

baseurl="http://data.10jqka.com.cn/interface/market/yybzjsl/desc/%s/20/"
def getdata(pgnum):
    cururl = baseurl % str(pgnum)
    ##print cururl
    cn=urllib2.urlopen(cururl)
    jstbl=json.load(cn,encoding='gbk')['data']
    return pandas.read_html('<table>'+jstbl+'</table>')[0]

dataout=pandas.DataFrame()
for pgnum in range(86):
    print pgnum
    totaltry=0
    while True:
        try:
            curdata=getdata(pgnum+1)
            curdata['pgnum']=pgnum+1
            break
        except:
            totaltry+=1
            print 'failed: %s' % totaltry
    dataout=dataout.append(curdata, ignore_index=True)

dataout.to_csv('~/Desktop/dataout.csv')

Answer 1

我建议使用 Beautiful Soup 进行抓取。

更新：类似这样的东西（但我建议查看 BS4 文档以了解如何真正使用它）...

import urllib
from bs4 import BeautifulSoup, SoupStrainer

baseurl="http://data.10jqka.com.cn/market/yybzjsl/HTZQGFYXGSCDSJLZQYYB"
page = urllib.urlopen(baseurl) 
getonly = SoupStrainer('table')
table = BeautifulSoup(page, parse_only=getonly)

for row in table("tr"):
  text = ''.join(row.findAll(text=True))
  data = text.strip()
  print data

得到你：

...    
2015-02-04
吴通通讯
日换手率达20%的证券
10.02%
买入
3489.00
1084.38
7.43%
通信设备
2015-02-03
赢时胜
日换手率达20%的证券
5.57%
卖出
1065.53
646.77
6.07%
计算机应用
2015-01-30
京天利
日涨幅偏离值达7%的证券
10.00%
买入
2363.95
1698.03
13.68%
计算机应用

Answer 2

几乎没有 python 用于网络抓取的框架。看看 Scrapy and Grab。两者都有在线文档和教程。

使用 Python 从中国股票网站抓取数据 table

Scraping data table from Chinese stock website using Python

python

json

stock

web-scraping