无法通过 C# webclient 和 request/respond 下载网页

Question

我想下载网页 html 代码，但有几个链接有问题。例如：http://www.business-top.info/, http://azerizv.az/ 我完全没有收到 html 使用这个： 1. 网络客户端：

using (var client = new WebClient())
            {
                client.Encoding = System.Text.Encoding.UTF8;
                string result = client.DownloadString(resultUrl);
                Console.WriteLine(result);
                Console.ReadLine();
            }

2。 HTTP request/response

var request = (HttpWebRequest)WebRequest.Create(resultUrl);
            request.Method = "POST";
            using (var response = (HttpWebResponse)request.GetResponse())
            {
                using (var stream = response.GetResponseStream())
                {
                    StreamReader sr = new StreamReader(stream, Encoding.UTF8);
                    string data = sr.ReadToEnd();
                    Console.WriteLine(data);
                    Console.ReadLine();
                }
            }

有很多这样的链接，所以我无法通过浏览器通过网页的源代码手动下载html

Answer 1

部分页面分阶段加载。首先，他们加载页面的核心，然后才评估其中的任何 JavaScript，通过 AJAX 加载更多内容。要抓取这些页面，您需要更高级的内容抓取库，而不仅仅是简单的 HTTP 请求发送器。

编辑：这是关于您现在遇到的相同问题的问题： Jquery Ajax Web page scraping using c#

无法通过 C# webclient 和 request/respond 下载网页

Can't download webpage via C# webclient and via request/respond

c#

webclient

http