不能 read_xml 或 xmlParse,但手动下载时 XML 没问题,可以由 R 加载
Can't read_xml or xmlParse, but when downloading manually the XML is fine and can be loaded by R
我正试图在 R:
中阅读这个 xml
url <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'
xml <- url %>% httr::GET(httr::config(ssl_verifypeer = FALSE, ssl_verifyhost = FALSE)) %>% read_xml()
这个输出是:
Error in read_xml.raw(content, encoding = encoding, base_url = if (nzchar(base_url)) base_url else x$url, :
Start tag expected, '<' not found [4]
当我尝试走 getURL 的路线时:
xdata <- getURL(url,ssl.verifypeer = FALSE)
doc <- XML::xmlTreeParse(xdata)
输出为:
Error: XML content does not seem to be XML:
然后试试这个:
curl::handle_setopt(h, ssl_verifyhost = 0, ssl_verifypeer=0)
curl::curl_download(url=url, destfile = "file_test.html", handle = h)
只是将一个大字符串下载到文件中。 xmlTreeParse.
无法读取为 XML 的相同内容
所有这些似乎都指向一个格式错误的 XML(我相信)。但是,当我手动下载 XML 时,文件可以被 read_xml()
读取,没问题。我可以在我的浏览器上将其可视化,就像任何其他 XML.
我该如何解决这个问题?这是爬虫中的众多网址之一,所有网址都有相同的问题。
网站好像用了base64加密,我不是很熟悉
url <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'
xml <- url %>%
httr::GET(httr::config(ssl_verifypeer = FALSE, ssl_verifyhost = FALSE)) %>%
httr::content(as="text") %>%
jsonlite::base64_dec() %>%
rawToChar() %>%
read_xml()
您可能需要安装 jsonlite,但这似乎对我有用。
我正试图在 R:
中阅读这个 xmlurl <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'
xml <- url %>% httr::GET(httr::config(ssl_verifypeer = FALSE, ssl_verifyhost = FALSE)) %>% read_xml()
这个输出是:
Error in read_xml.raw(content, encoding = encoding, base_url = if (nzchar(base_url)) base_url else x$url, :
Start tag expected, '<' not found [4]
当我尝试走 getURL 的路线时:
xdata <- getURL(url,ssl.verifypeer = FALSE)
doc <- XML::xmlTreeParse(xdata)
输出为:
Error: XML content does not seem to be XML:
然后试试这个:
curl::handle_setopt(h, ssl_verifyhost = 0, ssl_verifypeer=0) curl::curl_download(url=url, destfile = "file_test.html", handle = h)
只是将一个大字符串下载到文件中。 xmlTreeParse.
无法读取为 XML 的相同内容所有这些似乎都指向一个格式错误的 XML(我相信)。但是,当我手动下载 XML 时,文件可以被 read_xml()
读取,没问题。我可以在我的浏览器上将其可视化,就像任何其他 XML.
我该如何解决这个问题?这是爬虫中的众多网址之一,所有网址都有相同的问题。
网站好像用了base64加密,我不是很熟悉
url <- 'https://fnet.bmfbovespa.com.br/fnet/publico/downloadDocumento?id=155020&cvm=true&#toolbar=0'
xml <- url %>%
httr::GET(httr::config(ssl_verifypeer = FALSE, ssl_verifyhost = FALSE)) %>%
httr::content(as="text") %>%
jsonlite::base64_dec() %>%
rawToChar() %>%
read_xml()
您可能需要安装 jsonlite,但这似乎对我有用。