在 XPath 中获取元素的属性

Question

我想学习网页抓取。因此，我开始练习。我正在尝试使用 XPath 从 HTML 获取数据广告 ID。

HTML 结构如下：

<body id="z1234">
    <div class="viewport">
        <div class="g-row">
            <div class="g-col-9">
                <div class="cBox cBox--content cBox--resultList">
                    <div class="cBox-body cBox-body--resultitem dealerAd rbt-reg rbt-no-top"><a class="link--muted no--text--decoration result-item" href="url" data-ad-id="248059713"></a>
                </div>
            </div>
        </div>
    </div>
</body>

<a class="link--muted no--text--decoration result item" > 的 XPath 是 //*[@id="z1234"]/div[3]/div[4]/div[2]/div[1]/div[11]/a。如果我选择不同的车，只有最后 div 会改变。

据此我写C#代码：

var url = "https://suchen.mobile.de/fahrzeuge/search.html?damageUnrepaired=NO_DAMAGE_UNREPAIRED&isSearchRequest=true&maxPowerAsArray=KW&maxPrice=10000&minPowerAsArray=KW&minPrice=10000&scopeId=C";
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            StreamReader sr = new StreamReader(response.GetResponseStream());
            string sourceCode = sr.ReadToEnd();

            HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
            document.LoadHtml(sourceCode);




            var rows = document.DocumentNode.SelectNodes("//*[@id='z1234']/div[3]/div[4]/div[2]/div[1]/div[11]");


            foreach (var row in rows)
            {
                var id = row.SelectSingleNode("a[@data-ad-id]").InnerText;
                Console.WriteLine("id:" + id);
            }
        }

我无法从这个节点得到任何东西。它是空的。如何获取数据广告 ID？

编辑我更改我的 C# 代码：

var rows = document.DocumentNode.SelectNodes("//a[@data-ad-id]")[0];
var id = rows.Attributes["data-ad-id"].Value;

现在我可以得到data-ad-id.

Answer 1

根据站点代码，我可以感觉到您没有那个 "A" 标签的内部文本。它只包含 DIV 和 IMG 标签。

您需要使用

获取数据广告 ID

//a[@data-ad-id]/@data-ad-id

在 XPath 中获取元素的属性

Getting attribute of element in XPath

html

xpath

html-agility-pack