如何创建网络爬虫以从 agoda 获取多个页面，python3

Question

我是新来的。最近想从Agoda获取数据，遇到问题agoda.com没有提供"next page"的url(or href)。所以我不知道要更改页面。现在，我只得到第 1 页的数据，但我需要第 2 页、第 3 页的数据...... 有没有人帮帮我。我需要一些建议、工具或其他。顺便说一句，我用python3和win10.Please帮助我，谢谢。下面是我目前的代码。

import requests
import pandas as pd

import csv
from bs4 import BeautifulSoup
from pandas import Series,DataFrame
import unicodecsv

def name1():
    url="https://www.agoda.com/zh-tw/pages/agoda/default/DestinationSearchResult.aspx?asq=%2bZePx52sg5H8gZw3pGCybdmU7lFjoXS%2baxz%2bUoF4%2bbAw3oLIKgWQqUpZ91GacaGdIGlJ%2bfxiotUg7cHef4W8WIrREFyK%2bHWl%2ftRKlV7J5kUcPb7NK6DnLacMaVs1qlGagsx8liTdosF5by%2fmvF3ZvJvZqOWnEqFCm0staf3OvDRiEYy%2bVBJyLXucnzzqZp%2fcBP3%2bKCFNOTA%2br9ARInL665pxj%2fA%2bylTfAGs1qJCjm9nxgYafyEWBFMPjt2sg351B&city=18343&cid=1732641&tag=41460a09-3e65-d173-1233-629e2428d88e&gclid=Cj0KEQjwvve_BRDmg9Kt9ufO15EBEiQAKoc6qlyYthgdt9CgZ7a6g6yijP42n6DsCUSZXvtfEJdYqiAaAvdW8P8HAQ&tick=636119092231&isdym=true&searchterm=%E5%A2%BE%E4%B8%81&pagetypeid=1&origin=TW&cid=1732641&htmlLanguage=zh-tw&checkIn=2016-10-20&checkOut=2016-10-21&los=1&rooms=1&adults=2&children=0&isFromSearchBox=true&ckuid=1b070b17-86c2-4376-a4f5-d3b98fc9cf45" 
    source_code=requests.get(url)                                         
    plain_text=source_code.text                                           
    soup=BeautifulSoup(plain_text,"lxml")                                        
    hotelname=soup.find_all("h3",{"class":"hotel-name"})
    f = csv.writer(open("test.csv", "w",newline=''))
    f.writerow(["hotelname","address"]) 
    p = []
    for N in hotelname:
        a=N.string.strip()
        f.writerow([a])

Answer 1

仔细检查浏览器开发工具中单击下一步按钮时发生的情况。

它有发送带有很多参数的xhr post 请求的点击事件。其中一个参数是 PageNumber。参数的大多数值都可以直接获得，可能除了 SearchMessageID 之外，您必须在页面上的某处找到它或由 javascript 生成。

如何创建网络爬虫以从 agoda 获取多个页面，python3

How to create a web crawler to get multiple pages from agoda,with python3

python

webpage

web-crawler

scrapy