从站点抓取数据

Question

我尝试使用 BeauitfulSoup 从网站上抓取一些数据，我已经成功地抓取了一些数据，有些数据像 (phone, 网站) 我在这些数据中遇到了错误。

https://yellowpages.com.eg/en/search/spas/3231 这是我尝试抓取的网站 link。

from bs4 import BeautifulSoup
import requests
url = 'https://yellowpages.com.eg/en/search/spas/3231'
r = requests.get(url)
soup =BeautifulSoup(r.content, 'lxml')
info =  soup.find_all('div', class_='col-xs-12 padding_0')
for item in info:
    phone = item.find('span', class_='phone-spans')
    print(phone)

每次我运行这段代码的结果都是 none。

Answer 1

不确定代码的来源，但我看不到任何看起来相似的东西，但是这段代码有效：

from bs4 import BeautifulSoup
import requests
url = 'https://yellowpages.com.eg/en/search/spas/3231'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'lxml')
for item in soup.find_all('div', class_='searchResultsDiv'):
    name = item.find('a',class_= 'companyName').text.strip()
    phone = item.find('a',class_= 'search-call-mob')['href']
    print(name,phone)

从站点抓取数据

Scraping data from site

python

web-scraping

beautifulsoup

screen-scraping

yellow-pages