scrapy-splash 渲染多于第一页

Question

我正在尝试抓取一个网站，但需要在所有页面中使用启动画面，因为它们的内容是动态创建的。现在它只呈现第一页，而不是内容页或分页页。

代码如下：

import scrapy
from scrapy_splash import SplashRequest
import scrapy_splash

class ShutSpider(scrapy.Spider):
    name = 'Shut'
    def start_requests(self):
            yield SplashRequest(url='ROOTURL',callback=self.parse)

    def parse(self, response):
        # follow links to author pages
        content=response.xpath('//*[@id="iconQuesBar"]/a[4]/@href').extract()
        for href in content:
            yield response.follow(href.replace('?id=', ''), self.parse_QNA)
        if content == []:
            return
        # follow pagination links
        for href in response.xpath('//*[@id="body-div"]/table/tbody/tr[2]/td[3]/center/form/span/a/@href').extract():
            yield response.follow(href, self.parse)

    def parse_QNA(self, response):
        yield {
            'url': response.url,
            'title': response.xpath('//h1[@class = "head"]/text()').extract()

我试过所有我能想到的方法，但没有用。我现在能想到的唯一解决方案是使用渲染器将链接发送到内容页面和分页 API 但我认为它的编码非常糟糕，必须有另一种方法。

感谢您的帮助。

Answer 1

而不是 response.follow()，明确地为后续页面生成新的 SplashRequest。此外，在这种情况下，您必须使用 response.urljoin()。这是修改后的代码：

import scrapy
from scrapy_splash import SplashRequest
import scrapy_splash

class ShutSpider(scrapy.Spider):
    name = 'Shut'
    def start_requests(self):
        yield SplashRequest(url='ROOTURL',callback=self.parse)

    def parse(self, response):
        # follow links to author pages
        content = response.xpath('//*[@id="iconQuesBar"]/a[4]/@href').extract()
        for href in content:
            yield SplashRequest(response.urljoin(href.replace('?id=', '')), self.parse_QNA)
        if content == []:
            return
        # follow pagination links
        for href in response.xpath('//*[@id="body-div"]/table/tbody/tr[2]/td[3]/center/form/span/a/@href').extract():
            yield SplashRequest(response.urljoin(href), self.parse)

    def parse_QNA(self, response):
        yield {
            'url': response.url,
            'title': response.xpath('//h1[@class = "head"]/text()').extract()

scrapy-splash 渲染多于第一页

scrapy-splash rendering more than the first page

javascript

scrapy

splash-js-render