Scrapy：从 div 列表中解析 div

Question

我正在使用 scrapy 来解析网站。 HTML代码为：

<li class="listclass">
    <div class="divclass"> Some text </div>
    <div> "Some text" </div>
</li>

我想获取第二个 div 中的文本。

如何解析它以获得所需的文本？

我目前拥有的是：

response.xpath('//li[@class="listclass"]/div/text()').extract()

问题是这里选择了对应于 divs 的文本。我只需要第二个div.

的内容

Answer 1

试试这个：

//li[@class="listclass"]/div[2]/text()

Answer 2

如果你有很多 div 并且你需要避免特定的 div 意味着你可以使用这个。

response.xpath('//li[@class=listclass"]/div[not(contains(@class,"divclass"))]/text()').extract()

Scrapy: parse a div from a list of divs