使用 rvest 抓取所选下拉项的文本

Question

我正在使用 Rselenium 和 rvest 抓取一些网站。因此，我循环浏览下拉菜单的项目以更改 javascript table。下拉菜单中的 table 名称应该成为我在已抓取的 table 中的标识符列。我设法抓取了 table，但是当我只抓取一个选定的菜单项时我被卡住了。以下是 html 代码的一些行：

<select>
<option value="5823">2010/2011</option>
<option value="7094">2011/2012</option>
<option value="9024">2012/2013</option>
<option value="11976">2013/2014</option>
<option value="15388">2014/2015</option>
<option value="18336" selected="selected">2015/2016</option>
</select>

如何获取所选列的 html_text？ css 选择器 :checked 不起作用。我试过了：

 html_nodes("option") %>% html_attrs()

哪个正确地给了我：

 [[1]]
 value 
"5823" 

[[2]]
 value 
"7094" 

[[3]]
 value 
"9024" 

[[4]]
  value 
"11976" 

[[5]]
  value 
"15388" 

[[6]]
  selected      value 
"selected"    "18336"

和

read_html(wData) %>% html_nodes("option") %>% html_text()
[1] "2010/2011" "2011/2012" "2012/2013" "2013/2014" "2014/2015" "2015/2016"

但我不知道如何将两者结合起来。我只得到：

[1] "2015/2016"

因为我然后循环浏览选项，所以我需要一个通用的解决方案。谢谢。

Answer 1

您可以使用 xpath 选择器而不是 css 选择器。

read_html(wData) %>% html_nodes(xpath="//option[@selected]")  %>% html_text()

即使 :checked css 伪 class 不起作用，您也可以搜索属性。

使用 rvest 抓取所选下拉项的文本

Scrape the text of a selected Drop Down item with rvest

css

r

web-scraping

rvest