如何爬虫在 asp.net mvc web 应用程序中保存 mp3 url

Question

我想创建一个可以抓取不同网站并根据给定查询收集 mp3 url 的应用程序。

如果数据库中有可用结果，用户可以搜索歌曲名称然后显示相关歌曲url否则抓取网站并找到相关结果保存在数据库中并向用户显示结果。

Answer 1

我会 HtmlAgilityPack 试一试（您可以使用包管理器安装）。

如何开始的简单示例：

string url = "http://www.google.com";
HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load(url);

加载文档后，您可以检查它：

foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//a[@href]"))
{
     if (node.Attributes.Contains("href"))
     {
         Console.WriteLine(node.Attributes["href"].Value);
     }
}

上面应该打印它能找到的所有锚点 URL。