使用 Jsoup 提取 youtube 页面源时遇到问题

Question

使用Jsoup，我能够提取大多数网站的页面源代码（右键单击网页并选择"View Page Source"）。但是对于任何 youtube 视频页面，我无法提取页面源它没有提供正确的页面源代码。尝试了以下男女同校但未能提取。

public class App {
  public static void main(String[] args) throws IOException {

    String webUrl = "https://www.youtube.com/watch?v=Zu6o23Pu0Do";
    Document doc = Jsoup.connect(webUrl)
            .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")
            .get();

    System.out.println(doc);

 }
}

任何人都可以提供解决此问题的建议？？？

我得到如下输出：

Answer 1

您没有设置可能触发网站反抓取措施的用户代理。我假设问题是您的连接在运行时超时。尝试使用以下用户代理，看看它是否适用于 connect()。

.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")

使用 Jsoup 提取 youtube 页面源时遇到问题

Facing issue to extract youtube page source using Jsoup

jsoup

webscarab