如何使用 RCrawler 的 ExtractXpathPat 从 1 html 中提取多个项目？

Question

我正在尝试使用 Rcrawler 获取博物馆物品的标签和数据 collection。我想我在使用 ExtractXpathPat 变量时犯了一个错误，但我不知道如何修复它。

我期望这样的输出：

1;"Titel(s)";"De StaalmeestersDe waardijns van het Amsterdamse lakenbereidersgilde, bekend als ‘De Staalmeesters’"
1;"Objecttype";"Schilderij"
1;"Objectnummer";"SK-A-2931"

但是输出文件在第 3 个位置重复标题：

1;"Titel(s)";"De StaalmeestersDe waardijns van het Amsterdamse lakenbereidersgilde, bekend als ‘De Staalmeesters’"
1;"Objecttype";"De StaalmeestersDe waardijns van het Amsterdamse lakenbereidersgilde, bekend als ‘De Staalmeesters’"
1;"Objectnummer";"De StaalmeestersDe waardijns van het Amsterdamse lakenbereidersgilde, bekend als ‘De Staalmeesters’"

HTML 看起来像这样：

<div class="item">
      <h3 class="item-label h4-like">Objectnummer</h3>
      <p class="item-data">SK-A-2931</p>
</div>

我的方法是这样的：

Rcrawler(Website = "https://www.rijksmuseum.nl/nl/", 
         no_cores = 4, no_conn = 4,
         dataUrlfilter = '.*/collectie/.*',
         ExtractXpathPat = c('//*[@class="item-label h4-like"]', '//*[@class="item-data"]'), 
         PatternsNames = c('label','data'),
         ManyPerPattern = TRUE)

明确目标 HTML 页面并不总是具有相同的标签，有时它的标签没有相应的数据。有时数据在段落中，有时在无序列表中。

我的最终目标是创建一个 csv，其中包含网站的所有标签，每行都有相应的数据。

这道题是要进入收集标签和数据的第一步，然后我将用它来创建上面提到的 csv。

Answer 1

我不使用 RCrawler 进行抓取，但我认为您的 XPath 需要修复。我为你做了:

Rcrawler(Website = "https://www.rijksmuseum.nl/nl/", 
         no_cores = 4, no_conn = 4,
         dataUrlfilter = '.*/collectie/.*',
         ExtractXpathPat = c("//h3[@class='item-label h4-like'][.='Titel(s)']/following-sibling::p/text()","//h3[@class='item-label h4-like'][.='Objecttype']/following::a[1]/text()","//h3[@class='item-label h4-like'][.='Objectnummer']/following-sibling::p/text()"), 
         PatternsNames = c("Titel(s)", "Objecttype","Objectnummer"),
         ManyPerPattern = TRUE)

我运行它用了几分钟，似乎有效 :

DATA[[1]]
$`PageID`
[1] 1

$`Titel(s)`
[1] "De Staalmeesters"                                                                   
[2] "De waardijns van het Amsterdamse lakenbereidersgilde, bekend als ‘De Staalmeesters’"

$Objecttype
[1] "schilderij"

$Objectnummer
[1] "SK-C-6"

更多选项：

暴力破解。由于您还不知道所有的标签名称，并且如果您不想编写特定的 XPath，您可以在 RCrawlers ExtractXpathPat 中尝试这样的事情：

c("string((//h3[@class='item-label h4-like'])[1]/parent::*)","string((//h3[@class='item-label h4-like'])[2]/parent::*)",...,"string((//h3[@class='item-label h4-like'])[30]/parent::*)")

在这里，我们只是从位置1递增到位置30。你可以尝试40,50，这取决于你。

PatternsNames = c("Item1", "Item2",...,"Item30")

结果示例：

Item1:Title(s) The Seven Works of MercyPolyptych with the Seven Works of Charity 
Item2:Object type painting 
Item3:Object number SK-A-2815
...
Item17:Parts The Seven Works of Mercy (SK-A-2815-1) The Seven Works of Mercy (SK-A-2815-2) The Seven Works of Mercy (SK-A-2815-3) The Seven Works of Mercy (SK-A-2815-4) The Seven Works of Mercy (SK-A-2815-5) The Seven Works of Mercy (SK-A-2815-6) The Seven Works of Mercy (SK-A-2815-7)
...
Item29:
Item30:

然后您需要使用适当的工具（dplyr、stringr）整理数据（拆分、trim、重组...）以生成适当的 csv。

如果此选项不起作用，您可以确定可能拥有的所有标签名称（获取网页的所有 //h3[@class='item-label h4-like']/text() 并删除重复项以仅保留唯一值。然后相应地编写 Xpaths . 这样生成.csv文件会更容易

您也可以在 RCrawler 之外工作（使用其他工具）并编写一些函数来正确抓取数据（使用应用函数或 for 循环）。

如何使用 RCrawler 的 ExtractXpathPat 从 1 html 中提取多个项目？

How can I extract multiple items from 1 html using RCrawler's ExtractXpathPat?

r

xpath

web-crawler

rcrawler