c# htmlagility pack，找不到页面

Question

我正在尝试使用 Htmlagility C# 加载以下网站的页面源代码，它总是 return "Page Not Found" 但是当我在普通浏览器 (chrome) 中打开它时，它显示所有内容。

        HtmlAgilityPack.HtmlWeb web = new HtmlWeb();
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc = web.Load("http://www.alfatah.pk/");

Answer 1

我也收到了 404 以及您的代码。他们以某种方式意识到我们不是人类，而是网络机器人！

这对我有用：

    HtmlAgilityPack.HtmlWeb web = new HtmlWeb();
        web.UserAgent="Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0";

        web.PreRequest += (request) =>
        {
            request.Headers.Add(HttpRequestHeader.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
            request.Headers.Add(HttpRequestHeader.AcceptLanguage, "de-DE");
            return true;
        };
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();

        doc = web.Load("http://www.alfatah.pk/");

c# htmlagility pack，找不到页面

c# htmlagility pack, Page not Found

c#

html-agility-pack