循环 scrapy FormRequest 但只创建了一个项目

Question

所以我尝试循环一个 formrequest，它调用我的函数来创建、填充和生成项目，只有 pb：无论他循环多少次，我都只能完成一个项目，我不能'不知道为什么？

def access_data(self, res):
#receive all ID and request the infos
    res_json = (res.body).decode("utf-8")
    res_json = json.loads(res_json)
    for a in res_json['data']:
        logging.warning(a['id'])
        req = FormRequest(
            url='https://my_url',
            cookies={my_cookies},
            method='POST',
            callback=self.fill_details,
            formdata={'valeur': str(a['id'])},
            headers={'X-Requested-With': 'XMLHttpRequest'}
        )
        yield req

def fill_details(self, res):
    logging.warning("annonce")
    item = MyItem()
    item['html'] = res.xpath('//body//text()')
    item['existe'] = True
    item['ip_proxy'] = None
    item['launch_time'] = str(mySpider.init_time)
    yield item

为了确保一切都清楚：当我运行这个时，日志 "annonce" 只打印一次，而我在请求循环中记录 a['id'] 被打印了很多，我找不到修复的方法这个

Answer 1

我找到路了！如果任何人有相同的 pb ：因为我的 url 总是相同的（只有 formdata 改变），scrapy 过滤器正在控制并销毁重复项。在表单请求中将 dont_filter 激活为 true 以使其工作

循环 scrapy FormRequest 但只创建了一个项目

Loop on scrapy FormRequest but only one item created

scrapy

scrapy-spider

scrapy-splash