如何使用 python 在 scrapy 中获取 select 选项值

Question

我需要从 select 标签中获取所有选项值

<select name="Department" tabindex="3">
    <option  type="text" size="3" maxlength="2" value=""></option>
    <option  value="CSC">CSC</option>
    <option  value="IT">IT</option>
    <option  value="MCA">MCA</option>
    <option  value="BE">BE</option>
</select>

我尝试了 response.css('select::attr(name:Department)').extract() 但没有成功。

我需要输出：

['CSC', 'IT', 'MCA', 'BE']

我是 web scrapy 的新手，请帮助...

Answer 1

这里是使用 xpath.

response.xpath('//select/option/text()').getall()

应该使用 xpath，因为它们比 css 选择器更强大。这是在 scrapy 本身（下面的东西）上指定的。

XPath expressions are very powerful, and are the foundation of Scrapy Selectors. In fact, CSS selectors are converted to XPath under-the-hood. You can see that if you read closely the text representation of the selector objects in the shell.

您可以从 selectors.

了解更多关于他们的信息

如何使用 python 在 scrapy 中获取 select 选项值

How can I get the select option values in scrapy using python

python

xpath

python-3.x

scrapy-spider