如何在 Scrapy-Splash 中使用 splash:mouse_press
How to use splash:mouse_press in Scrapy-Splash
我正在尝试点击网站上的显示按钮但没有成功,我真的不知道该怎么做,但我遇到了一些可能有用的东西,splash:mouse_press
。这会与 scrapy-splash 一起使用吗?如果可以,我该如何实现它?
import scrapy
from scrapy.spiders import Spider
from scrapy_splash import SplashRequest
from ..items import NameItem
class LoginSpider(scrapy.Spider):
name = "LoginSpider"
start_urls = ["http://www.starcitygames.com/buylist/"]
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formcss='#existing_users form',
formdata={'ex_usr_email': 'email@example.com', 'ex_usr_pass': 'password'},
callback=self.after_login
)
def after_login(self, response):
item = NameItem()
item["Name"] = response.css("div.bl-result-title::text").get()
return item
欢迎来到这里 (:
无需将事情复杂化。
您只需要 GET
请求 http://www.starcitygames.com/buylist/search?search-type=name&name=game
好吧......当然你可以改变参数。但是无论如何,通过 link.
,您将以 json 格式获得您想要的一切
貌似连登录都不需要,实际上
祝你好运。
我正在尝试点击网站上的显示按钮但没有成功,我真的不知道该怎么做,但我遇到了一些可能有用的东西,splash:mouse_press
。这会与 scrapy-splash 一起使用吗?如果可以,我该如何实现它?
import scrapy
from scrapy.spiders import Spider
from scrapy_splash import SplashRequest
from ..items import NameItem
class LoginSpider(scrapy.Spider):
name = "LoginSpider"
start_urls = ["http://www.starcitygames.com/buylist/"]
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formcss='#existing_users form',
formdata={'ex_usr_email': 'email@example.com', 'ex_usr_pass': 'password'},
callback=self.after_login
)
def after_login(self, response):
item = NameItem()
item["Name"] = response.css("div.bl-result-title::text").get()
return item
欢迎来到这里 (: 无需将事情复杂化。
您只需要 GET
请求 http://www.starcitygames.com/buylist/search?search-type=name&name=game
好吧......当然你可以改变参数。但是无论如何,通过 link.
貌似连登录都不需要,实际上
祝你好运。