如何使用html.parser

Question

大家好，我是 python 的新手，正在尝试使用 python 的 html.parser 模块，我想抓取该网站并获取 urls，交易html.parser 的名称和价格出现在 li 标签内 https://www.mcdelivery.com.pk/pk/browse/menu.html 获取 url 后，我想将它们附加到基础 URL 中，并从该站点获取带有价格的交易。

import urllib.request
import urllib.parse
import re
from html.parser import HTMLParser

url = 'https://www.mcdelivery.com.pk/pk/browse/menu.html'
values = {'daypartId': '1', 'catId': '1'}
data = urllib.parse.urlencode(values)
data = data.encode('utf-8')  # data should be bytes
req = urllib.request.Request(url, data)
resp = urllib.request.urlopen(req)
respData = resp.read()
list1 = re.findall(r'<div class="product-cost"(.*?)</div>', str(respData))
for eachp in list1:
    print(eachp)

正在使用正则表达式获取 class 但我失败了。现在试图弄清楚如何使用 html.parser 来做到这一点。我知道使用 beautifulsoup and scrapy 会更容易，但我正在尝试使用 python，所以请跳过第 3 方库。我真的需要帮助。我卡住了。 Html.parser 代码 （已更新）

from html.parser import HTMLParser
import urllib.request
import html.parser
# Import HTML from a URL
url = urllib.request.urlopen(
    "https://www.mcdelivery.com.pk/pk/browse/menu.html")
html = url.read().decode()
url.close()


class MyParser(html.parser.HTMLParser):
    def __init__(self, html):
        self.matches = []
        self.match_count = 0
        super().__init__()

    def handle_data(self, data):
        self.matches.append(data)
        self.match_count += 1

    def handle_starttag(self, tag, attrs):
        attrs = dict(attrs)
        if tag == "div":
            if attrs.get("product-cost"):
                self.handle_data()
            else:
                return

parser = MyParser(html)
parser.feed(html)

for item in parser.matches:
    print(item)

Answer 1

这是一个可能需要特定调整的良好开端：

import html.parser

class MyParser(html.parser.HTMLParser):

    def __init__(self, html):
        self.matches = []
        self.match_count = 0
        super().__init__()        

    def handle_data(self, data):
        self.matches.append(data)
        self.match_count += 1

    def handle_starttag(self, tag, attrs):
        attrs = dict(attrs)
        if tag == "div":
            if attrs.get("product-cost"):
                self.handle_data()
        else: return

用法与

一致

request_html = the_request_method(url, ...)

parser = MyParser()
parser.feed(request_html)

for item in parser.matches:
    print(item)

如何使用html.parser

How to use html.parser

python

web-scraping

html-parser

python-3.7