查找网站上存在 soup.findall 个 unicode 问题的页面数量

Question

您好，我正在尝试使用 Python 2.7 和 Beautifulsoup 查找网站上的页数。我尝试使用此代码从分页行中获取页数。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib2

from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0'}
req = urllib2.Request("https://www.sikayetvar.com", None,headers)
resp  = urllib2.urlopen(req)
html = resp.read()
soup = BeautifulSoup(html)
pages = soup.find_all('div', attrs = {'class' : 'pagination row'})
for page in pages:
   print page.text

输出如下： 1个 2个 3个 4个 5个 6个 7 ... 807

我只需要数字 807，但是 soup.findall 将其接收为 unicode 我尝试使用类型。我应该把它变成一个字符串并找到最大数量，在这种情况下 (...) 会产生问题，我想或者我应该尝试找到 findall 的最后一个元素，但同样这不是一个列表，它是 unicode。我真的需要一些帮助谢谢。

Answer 1

我无法安装 urllib。所以我要使用 requests 库。您可以使用 pip install requests

安装它

import requests 
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.get("https://www.sikayetvar.com/a101", headers = headers)

soup = BeautifulSoup(response.text,'lxml')

#This will you all a tags in div that has pagination class
pages = soup.select('div.pagination a')

#Last element is next page. The previous is your last page number.
#So we are going to take second last item

print(pages[-2].text)
#Output is 807

查找网站上存在 soup.findall 个 unicode 问题的页面数量

Finding the number of pages on a website with soup.findall unicode problems

python

string

unicode

beautifulsoup

findall