使用 Scrapy + Selenium 截取日期选择器

Question

所以我需要像 this for example or this 那样废弃一个页面，我正在使用 Scrapy + Seleninum 与日期选择器日历进行交互。

例如，基本上我需要检查一个月中每一天的房间可用性，所以我的想法是尝试单击日期选择器上的未禁用 links/dates 并检查是否出现错误消息还是不让我知道它是否可用。

我不知道这是否是正确的方法，甚至不知道如何使用这个工具来做到这一点。我一直在和他们一起玩，但看起来我离最终解决方案还很远。

有谁知道我该如何解决这个问题，甚至可以为我提供代码来实现这个目标？

Answer 1

您好，请在下面找到答案

WebDriver driver = new FirefoxDriver();
driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
driver.manage().window().maximize();
driver.get("https://www.airbnb.pt/rooms/516301?check_in=2016-04-14&guests=1&check_out=2016-04-17");

// selecting firstdate picker -- check in

driver.findElement(By.xpath("//*[@class='col-sm-6']/input")).click();
// note calendar is not completely visible hence to make it visible 
// scroll a little bit down
((JavascriptExecutor) driver).executeScript("window.scrollBy(0,200)");
// take all calendar dates inside the list
// here i have update my code to skip stale element exception 
List<WebElement> alldates = driver.findElements(By.xpath("//*[@class='ui-datepicker-calendar']/tbody/tr/td/a[contains(@class, 'ui-state-default')]"));
System.out.println("Size is : "+ alldates.size());
// suppose you want to select 27 form the all dates
// keeping it as a parameter 
String dateToBeSelected = "19";  // check in
for(int i=0;i<alldates.size();i++){
    alldates = driver.findElements(By.xpath("//*[@class='ui-state-default']"));
System.out.println("dates is : " + alldates.get(i).getText());
// selects a check-in date
if( alldates.get(i).getText().equals(dateToBeSelected)){
    alldates.get(i).click();
    break;
            }
        }
// on selection of Checkin date check out calender automatically pop ups
System.out.println("--------------------------");
String datetobeselected = "27";
for(int i=0;i<alldates.size();i++){
    alldates = driver.findElements(By.xpath("//*[@class='ui-state-default']"));
System.out.println("dates is : " + alldates.get(i).getText());
// selects a check-in date
if( alldates.get(i).getText().equals(datetobeselected)){
    alldates.get(i).click();
    break;
            }
        }
// actually after calendar selection whatever text is shown in red color
// i am not sure what is it (sorry only English)

// identify the text with red color is present or not 
boolean errorMsg = driver.findElement(By.xpath("//*[@class='panel-body panel-light']/div[2]/p")).isDisplayed();
if(errorMsg){
    System.out.println("error msg is displayed");
}else{
System.out.println("error msg is not - displayed");
        }

希望这也能帮助您注意上面的示例将入住和退房日期作为参数，如果您希望代码自动采用非禁用日期，请随时询问我会更新我的答案。

使用 Scrapy + Selenium 截取日期选择器

Screenscraping a Datepicker with Scrapy + Selenium

selenium

screen-scraping

datepicker

scrapy

selenium-webdriver