从网站抓取 table 时出现问题？

Question

我正在从该站点提取 table。虽然我匹配了 xpaths 并发现了 table 的字段，但我无法从该站点提取任何内容，这就是我的蜘蛛程序的样子：

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'wesite.com',
    )
    #//div[4]//div[1]//div[1]//table[1]
    #
    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')[1:-2]
        print('\n***********************************\n',sites)

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td[1]/text()').extract()
            item['col2'] = site.xpath('td[2]/text()').extract()
            yield item
            print('\n**********\n',item)

我想我的主要问题是这一行：

sites = response.xpath('//*[@id="tabs-1"]/table[1]/tr')

我居然可以检索到内容。但是，它有一个非常大的重复错误格式（格式错误）。知道如何获得 table 吗？

Answer 1

有时浏览器会在呈现时添加自己的 DOM 元素。对于您给定的站点，正确的 xpath 选择器是 response.xpath('//*[@id="tabs-1"]/table//tr') 以查找 table 行。

已编辑：添加代码以从 table

中获取正确的元素

# -*- coding: utf-8 -*-
import scrapy
from table.items import TableItem


class Table(scrapy.Spider):
    name = "table1"
    start_urls = (
        'http://www.accessdata.fda.gov/scripts/drugshortages/default.cfm#tabs-1',
    )

    def parse(self, response):
        sites = response.xpath('//*[@id="tabs-1"]/table//tr')

        for site in sites:
            item = TableItem()
            item['col1'] = site.xpath('td/a/text()').extract_first()
            col2 = site.xpath('td/em/strong/text()')
            if col2:
                item['col2'] = site.xpath('td/em/strong/text()')[0].extract().strip()
            else:
                item['col2'] = 'Not Available'
            yield item

从网站抓取 table 时出现问题？

Problems while scraping a table from a website?

python

xpath

scrapy

web-scraping

scrapy-spider