我想使用 python 脚本抓取数据

Question

我已经编写了 python 脚本来从 http://www.cricbuzz.com/cricket-stats/icc-rankings/batsmen-rankings 抓取数据这是一个包含 100 名玩家的列表，我成功地抓取了这些数据。问题是，当我运行编写脚本而不是只抓取数据一次时，它抓取了相同的数据 3 次。

<div class="cb-col cb-col-100 cb-font-14 cb-lst-itm text-center">
  <div class="cb-col cb-col-16 cb-rank-tbl cb-font-16">1</div>
  <div class="cb-col cb-col-50 cb-lst-itm-sm text-left">
    <div class="cb-col cb-col-33">
      <div class="cb-col cb-col-50">
        <span class=" cb-ico" style="position:absolute;"></span>&nbsp;&nbsp;&nbsp;&nbsp;–
      </div>
      <div class="cb-col cb-col-50">
        <img src="http://i.cricketcb.com/i/stats/fw/50x50/img/faceImages/2250.jpg" class="img-responsive cb-rank-plyr-img">
      </div>
    </div>
    <div class="cb-col cb-col-67 cb-rank-plyr">
      <a class="text-hvr-underline text-bold cb-font-16" href="/profiles/2250/steven-smith" title="Steven Smith's Profile">Steven Smith</a>
      <div class="cb-font-12 text-gray">AUSTRALIA</div>
    </div>
  </div>
  <div class="cb-col cb-col-17 cb-rank-tbl">906</div>
  <div class="cb-col cb-col-17 cb-rank-tbl">1</div>
</div>

这里是 python 脚本，我编写了每个玩家数据的废料。

import sys,requests,csv,io
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "http://www.cricbuzz.com/cricket-stats/icc-rankings/batsmen-rankings"
r = requests.get(url)
r.content
soup = BeautifulSoup(r.content, "html.parser")

maindiv = soup.find_all("div", {"class": "text-center"})
for div in maindiv:
 print(div.text)

但它不是抓取数据一次，而是抓取相同的数据 3 次。

在哪里可以更改一次获取数据？

Answer 1

Select table 并在其中查找 div：

maindiv = soup.select("#batsmen-tests div.text-center")
for div in maindiv:
    print(div.text)

你的原始输出和上面的输出将 div 中的所有文本作为一行，如果你只想要玩家姓名，这并不是很有用：

anchors = soup.select("#batsmen-tests div.cb-rank-plyr a")
for a in anchors:
    print(a.text)

以良好的 csv 格式获取数据的一种快速简便的方法是从每个 child:

中获取文本

maindiv = soup.select("#batsmen-tests div.text-center")
for d in maindiv[1:]:
    row_data = u",".join(s.strip() for s in filter(None, (t.find(text=True, recursive=False) for t in d.find_all())))
    if row_data:
        print(row_data)

现在你得到如下输出：

# rank, up/down, name, country, rating, best rank
1,–,Steven Smith,AUSTRALIA,906,1
2,–,Joe Root,ENGLAND,878,1
3,–,Kane Williamson,NEW ZEALAND,876,1
4,–,Hashim Amla,SOUTH AFRICA,847,1
5,–,Younis Khan,PAKISTAN,845,1
6,–,Adam Voges,AUSTRALIA,802,5
7,–,AB de Villiers,SOUTH AFRICA,802,1
8,–,Ajinkya Rahane,INDIA,785,8
9,2,David Warner,AUSTRALIA,772,3
10,–,Alastair Cook,ENGLAND,770,2
11,1,Misbah-ul-Haq,PAKISTAN,764,6

相对于：

PositionPlayerRatingBest Rank
Player
1    –Steven SmithAUSTRALIA9061
2    –Joe RootENGLAND8781
3    –Kane WilliamsonNEW ZEALAND8761
4    –Hashim AmlaSOUTH AFRICA8471
5    –Younis KhanPAKISTAN8451
6    –Adam VogesAUSTRALIA8025

Answer 2

你得到三次输出的原因是因为该网站有三个类别你必须select它然后相应地你可以使用它。

使用您的代码执行此操作的最简单方法是仅添加一行

import sys,requests,csv,io
from bs4 import BeautifulSoup

url = "http://www.cricbuzz.com/cricket-stats/icc-rankings/batsmen-   rankings"
r = requests.get(url)
r.content
soup = BeautifulSoup(r.content, "html.parser")

specific_div = soup.find_all("div", {"id": "batsmen-tests"})
maindiv = specific_div[0].find_all("div", {"class": "text-center"})
for div in maindiv:
    print(div.text)

这将给出与测试击球手类似的结果，对于其他输出，只需更改 specific_div 行中的 "id"。

我想使用 python 脚本抓取数据

i want to scrape data using python script

html

python

beautifulsoup

python-3.x

python-3.4