Python PhantomJS 无法全部获取 html

Question

据我所知，我们可以通过多种方式进行网页抓取：

1- 使用简单的 requests 和 bs4

如果网页源码中有脚本：

2- 使用 Selenium 和 bs4

3- 使用 PhantomJS

我在这里尝试抓取https://zenitbet.com/en/line/football

我知道第一种方法行不通，但 PhantomJS 也行不通。在此 link 中，我需要 <table> 标签。但是我一点也拿不到。有人可以帮忙吗？

我的代码：

from selenium import webdriver
from bs4 import BeautifulSoup
url = 'https://zenitbet.com/en/line/football'

driver = webdriver.PhantomJS(executable_path='<the_path>')
driver.get(url)
soup2 = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()

在输出中，找不到页面的主要部分，即投注框

Answer 1

我成功地使用 selenium 呈现页面，然后只需阅读 html 和 pandas 即可获取表格。

from selenium import webdriver
import pandas as pd
url = 'https://zenitbet.com/en/line/football'

driver = webdriver.Chrome('C:/chromedriver_win32/chromedriver.exe')
driver.get(url)

dfs = pd.read_html(driver.page_source)

driver.quit()

输出：

for df in dfs:
    print (df)


         Футбол. Сборные. Лига наций УЕФА. Лига A  ...                    
                                          Событие  ... Unnamed: 19_level_1
0        Матч! Футбол 104/09 19:45Италия - Босния  ...                 NaN
1           Матч ТВ04/09 19:45Нидерланды - Польша  ...                 NaN
2             Матч ТВ05/09 17:00Исландия - Англия  ...                 NaN
3        Матч! Футбол 305/09 19:45Дания - Бельгия  ...                 NaN
4         Матч ТВ05/09 19:45Португалия - Хорватия  ...                 NaN
5       Матч! Футбол 205/09 19:45Швеция - Франция  ...                 NaN
6             Матч ТВ06/09 19:45Испания - Украина  ...                 NaN
7   Матч! Футбол 106/09 19:45Швейцария - Германия  ...                 NaN
8                      07/09 19:45Босния - Польша  ...                 NaN
9           Матч ТВ07/09 19:45Нидерланды - Италия  ...                 NaN
10    Матч! Футбол 308/09 19:45Бельгия - Исландия  ...                 NaN
11                      08/09 19:45Дания - Англия  ...                 NaN
12           Матч ТВ08/09 19:45Франция - Хорватия  ...                 NaN
13                 08/09 19:45Швеция - Португалия  ...                 NaN

[14 rows x 20 columns]
   Футбол. Сборные. Лига наций УЕФА. Лига A. Статистические данные  ...                    
                                                           Событие  ... Unnamed: 19_level_1
0        04/09 19:45Италия % вл мяч - Босния % вл мяч               ...                 NaN
1                  04/09 19:45Италия угл - Босния угл               ...                 NaN
2                  04/09 19:45Италия ж/к - Босния ж/к               ...                 NaN
3          04/09 19:45Италия уд в ст - Босния уд в ст               ...                 NaN
4                04/09 19:45Италия фолы - Босния фолы               ...                 NaN
5                  04/09 19:45Италия офс - Босния офс               ...                 NaN
6   04/09 19:45Италия уд по воротам - Босния уд по...               ...                 NaN
7                04/09 19:45Италия ауты - Босния ауты               ...                 NaN
8              04/09 19:45Италия сэйвы - Босния сэйвы               ...                 NaN
9    04/09 19:45Нидерланды % вл мяч - Польша % вл мяч               ...                 NaN
10             04/09 19:45Нидерланды угл - Польша угл               ...                 NaN
11             04/09 19:45Нидерланды ж/к - Польша ж/к               ...                 NaN
12     04/09 19:45Нидерланды уд в ст - Польша уд в ст               ...                 NaN
13           04/09 19:45Нидерланды фолы - Польша фолы               ...                 NaN
14             04/09 19:45Нидерланды офс - Польша офс               ...                 NaN
15  04/09 19:45Нидерланды уд по воротам - Польша у...               ...                 NaN
16           04/09 19:45Нидерланды ауты - Польша ауты               ...                 NaN
17         04/09 19:45Нидерланды сэйвы - Польша сэйвы               ...                 NaN
18               05/09 17:00Исландия ж/к - Англия ж/к               ...                 NaN
19               05/09 17:00Исландия угл - Англия угл               ...                 NaN

[20 rows x 20 columns]
       Футбол. Сборные. Лига наций УЕФА. Лига B  ...                    
                                        Событие  ... Unnamed: 19_level_1
0   Матч! Футбол 204/09 19:45Норвегия - Австрия  ...                 NaN
1             04/09 19:45Румыния - Сев Ирландия  ...                 NaN
2     Матч! Футбол 304/09 19:45Словакия - Чехия  ...                 NaN
3                04/09 19:45Шотландия - Израиль  ...                 NaN
4     Матч! Футбол 106/09 14:00Уэльс - Болгария  ...                 NaN
5             Первый06/09 17:00Венгрия - Россия  ...                 NaN
6        Матч ТВ06/09 17:00Ирландия - Финляндия  ...                 NaN
7      Матч! Футбол 206/09 19:45Сербия - Турция  ...                 NaN
8                  07/09 19:45Австрия - Румыния  ...                 NaN
9                 07/09 19:45Израиль - Словакия  ...                 NaN
10           07/09 19:45Сев Ирландия - Норвегия  ...                 NaN
11                 07/09 19:45Чехия - Шотландия  ...                 NaN

[12 rows x 20 columns]
  Футбол. Сборные. Лига наций УЕФА. Лига B. Статистические данные  ...                    
                                                          Событие  ... Unnamed: 19_level_1
0    04/09 19:45Норвегия % вл мяч - Австрия % вл мяч               ...                 NaN
1            04/09 19:45Норвегия ауты - Австрия ауты               ...                 NaN
2              04/09 19:45Норвегия ж/к - Австрия ж/к               ...                 NaN

[3 rows x 20 columns]

Python PhantomJS 无法全部获取 html

Python PhantomJS can't get all html

python

selenium

beautifulsoup

web-scraping

phantomjs