使用 JSoup 从 Google 个搜索结果的所有页面中检索所有链接

Question

我有以下代码用于使用 JSoup 解析 java 中的 HTML。

Document linksDoc = null; 
linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton").userAgent("Mozilla").get();
Elements titles = linksDoc.select("h3.r > a");

for(Element e: titles){
    System.out.println("text"+cnt+": " +e.attr("href"));
  }

问题是我只能检索首页搜索结果链接。我应该怎么做才能从 google 搜索结果的其余页面中获取链接。

Answer 1

如果您想从第二页获得结果，请将 &start=10 添加到 URL。对于第三页，使用 &start=20 依此类推。

Document linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton&start=10")
        .userAgent("Mozilla").get();
//...

使用 JSoup 从 Google 个搜索结果的所有页面中检索所有链接

Retrieving all links from all pages of Google search result using JSoup

java

html-parsing

jsoup