需要帮助 Web 提取 <ul> 和 <li> 使用 scrapy

Question

目前正在学习scrapy，对提取a和标签只有一点了解，但在提取ul和li等方面需要帮助：

response.css('a.example')

response.css('div.example')

但是 'ul' 和 'li" 的命令是什么？

Answer 1

你在这里缺少的是对 CSS select 的理解。例如，

• a.example 会将 select <a> 元素 class 设置为 exmaple
• div.example 会将 select <div> 元素 class 设置为 exmaple
• .example 将 select class 为 example
的每个元素

一旦你学会了这个，你就会知道 selecting ul 和 li 不需要单独的命令。您只需要使用正确的 selector。 这是一个例子：

<ul>
<li> one</li>
<li> two</li>
</ul

现在，如果您想要 select 第一个 li 元素中的文本，您可以使用

response.css('li::text).get()

如果要同时提取元素的文本，可以使用

response.css('li::text).getall()

我建议浏览 W3 Schools 等网站并了解 CSS select 或