使用 R 从 url 中提取 jpg 名称

Question

有人可以帮助我，这是我的问题：我在 tbl 中有一个 url 的列表，我必须提取 jpg nane。这是 url https://content_xxx.xxx.com/vp/969ffffff61/5C55ABEB/t51.2ff5-15/e35/13643048_612108275661958_805860992_n.jpg?ff_cache_key=fffffQ%3ff%3D.2 这是要提取的部分 13643048_612108275661958_805860992_n 感谢帮助

Answer 1

这需要两件事：

解析 URL 本身
从 URL

您可以手动完成这两项操作，但使用现有工具更好。第一部分由 ‹XML› 包中的 parseURI 函数解决：

uri = 'https://content_xxx.xxx.com/vp/969ffffff61/5C55ABEB/t51.2ff5-15/e35/13643048_612108275661958_805860992_n.jpg?ff_cache_key=fffffQ%3ff%3D.2
parts = XML::parseURI(uri)

第二部分由 basename 函数轻松解决：

filename = basename(parts$path)

Answer 2

谷歌搜索 "R parse URL" 可以让您免于键入 ~400 次击键（我预计 URL 已粘贴）。

无论如何，您想处理这些东西的矢量，所以有更好的方法。事实上，在 R 中有多种方法可以做到这一点 URL 路径提取。这里有 3 个：

library(stringi)
library(urltools)
library(httr)
library(XML)
library(dplyr)

我们将生成 100 个独特的 URL 符合相同的 Instagram 模式（注意：抓取 instagram 违反了他们的服务条款并由 robots.txt 控制。如果您的 URL s 不是来自 Instagram API，请告诉我，这样我就可以删除这个答案，因为我不帮助内容窃贼）。

set.seed(0)

paste(
  "https://content_xxx.xxx.com/vp/969ffffff61/5C55ABEB/t51.2ff5-15/e35/13643048_612108275661958_805860992_n.jpg?ff_cache_key=fffffQ%3ff%3D.2",
  stri_rand_strings(100, 8, "[0-9]"), "_",
  stri_rand_strings(100, 15, "[0-9]"), "_",
  stri_rand_strings(100, 9, "[0-9]"), "_",
  stri_rand_strings(100, 1, "[a-z]"),
  ".jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2",
  sep=""
) -> img_urls

head(img_urls)
## [1] "https://content_xxx.xxx.com/vp/969ffffff61/5C55ABEB/t51.2ff5-15/e35/13643048_612108275661958_805860992_n.jpg?ff_cache_key=fffffQ%3ff%3D.2"
## [2] "https://https://content_xxx.xxx.com/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/66021637_359927357880233_471353444_q.jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2"
## [3] "https://https://content_xxx.xxx.com/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/47937926_769874508959124_426288550_z.jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2"
## [4] "https://https://content_xxx.xxx.com/vp/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/12303834_440673970920272_460810703_n.jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2"
## [5] "https://https://content_xxx.xxx.com/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/54186717_202600346704982_713363439_y.jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2"
## [6] "https://https://content_xxx.xxx.com/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/48675570_402479399847865_689787883_e.jpg?ff_cache_key=MTMwOTE4NjEyMzc1OTAzOTc2NQ%3D%3D.2"

现在，让我们尝试解析那些 URLs:

invisible(urltools::url_parse(img_urls))

invisible(httr::parse_url(img_urls))
## Error in httr::parse_url(img_urls): length(url) == 1 is not TRUE

哦！ httr做不到。

invisible(XML::parseURI(img_urls))
## Error in if (is.na(uri)) return(structure(as.character(uri), class = "URI")): the condition has length > 1

哦！ XML也做不到

这意味着我们需要为 httr 和 XML 使用 sapply() 拐杖来获取路径组件（您可以运行 basename() 在任何康拉德展示的合成向量）：

data_frame(
  urltools = urltools::url_parse(img_urls)$path,
  httr = sapply(img_urls, function(URL) httr::parse_url(URL)$path, USE.NAMES = FALSE),
  XML = sapply(img_urls, function(URL) XML::parseURI(URL)$path, USE.NAMES = FALSE)
) -> paths

glimpse(paths)
## Observations: 100
## Variables: 3
## $ urltools <chr> "vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/82359289_380972639303339_908467218_h...
## $ httr     <chr> "vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/82359289_380972639303339_908467218_h...
## $ XML      <chr> "/vp/969b7087cc97408ccee167d473388761/5C55ABEB/t51.2885-15/e35/82359289_380972639303339_908467218_...

请注意 XML 路径中首字母 / 的非标准包含。对于此示例，这对您来说并不重要，但重要的是要注意一般情况下的差异。

我们将处理其中一个，因为 XML 和 httr 有那个糟糕的限制：

microbenchmark::microbenchmark(
  urltools = urltools::url_parse(img_urls[1])$path,
  httr = httr::parse_url(img_urls[1])$path,
  XML = XML::parseURI(img_urls[1])$path
)
## Unit: microseconds
##      expr     min       lq      mean   median       uq      max neval
##  urltools 351.268 397.6040 557.09641 499.2220 618.5945 1309.454   100
##      httr 550.298 619.5080 843.26520 717.0705 888.3915 4213.070   100
##       XML  11.858  16.9115  27.97848  26.1450  33.9065  109.882   100

XML 看起来 更快，但实际上并没有：

microbenchmark::microbenchmark(
  urltools = urltools::url_parse(img_urls)$path,
  httr = sapply(img_urls, function(URL) httr::parse_url(URL)$path, USE.NAMES = FALSE),
  XML = sapply(img_urls, function(URL) XML::parseURI(URL)$path, USE.NAMES = FALSE)
)
## Unit: microseconds
##      expr       min        lq      mean     median        uq        max neval
##  urltools   718.887   853.374  1093.404   918.3045  1146.540   2872.076   100
##      httr 58513.970 64738.477 80697.548 68908.7635 81549.154 224157.857   100
##       XML  1155.370  1245.415  2012.660  1359.8215  1880.372  26184.943   100

如果你真的想走正则表达式路线，你可以阅读 URL BNF 的 RFC 和一个天真的正则表达式，用于从一个中提取位和 Google 的开创性示例有十几个正则表达式可以处理格式不佳的 URI，但对于多样化的 URL 内容，解析通常是更好的策略。对于您的情况，拆分和正则表达式可能工作得很好，但不一定比解析快得多：

microbenchmark::microbenchmark(
  urltools = tools::file_path_sans_ext(basename(urltools::url_parse(img_urls)$path)),
  httr = tools::file_path_sans_ext(basename(sapply(img_urls, function(URL) httr::parse_url(URL)$path, USE.NAMES = FALSE))),
  XML = tools::file_path_sans_ext(basename(sapply(img_urls, function(URL) XML::parseURI(URL)$path, USE.NAMES = FALSE))),
  regex = stri_match_first_regex(img_urls, "/([[:digit:]]{8}_[[:digit:]]{15}_[[:digit:]]{9}_[[:alpha:]]{1})\.jpg\?")[,2]
)
## Unit: milliseconds
##      expr       min        lq      mean    median        uq        max neval
##  urltools  1.140421  1.228988  1.502525  1.286650  1.444522   6.970044   100
##      httr 56.563403 65.696242 77.492290 69.809393 80.075763 157.657508   100
##       XML  1.513174  1.604012  2.039502  1.702018  1.931468  11.306436   100
##     regex  1.137204  1.223683  1.337675  1.260339  1.397273   2.241121   100

如最后一个示例所述，您需要对结果运行 tools::file_path_sans_ext() 删除 .jpg（或 sub() ）。

使用 R 从 url 中提取 jpg 名称

Extract jpg name from a url using R

url

jpeg

r