导出 google 学术搜索结果中的链接

Question

我想导出google学者的数据。特别是，我想导出引用特定论文的文章列表。如果我点击 Cited By link 我可以得到这个页面。我可以导出这些数据的一种方法是将它们全部添加到我的库中。然后您可以导出为 4 种不同的格式（BibTex、Refman、Endnote、CSV）。然而，none 这些导出格式包括 HTML link (URL) 到每篇论文。

另一种策略是抓取数据，但我不想这样做，因为我知道这对于 google 学者的验证码来说非常棘手。

是否可以导出包含每篇论文 URL 的 google 学者搜索结果？

Answer 1

您指的是您所在的页面？从控制台 (F12) 执行：

copy($$('li > a').map(a => a.href))

现在它们在您的剪贴板中。

Answer 2

要提取 Cited by 数据，您需要 Cited by link 所属的 Google Scholar 有机搜索结果的 ID。您可以在 data-cid html 属性中找到 ID。

然后您可以查询下一个link来检索数据：https://scholar.google.com/scholar?q=info: this_is_where_you_put_the_cite_id:scholar.google.com/&output=cite

还有像 SerpApi 这样的第三方解决方案可以为您完成这项工作。这是付费 API 免费试用。

示例 python 代码（也可在其他库中使用）：

from serpapi import GoogleSearch

params = {
  "engine": "google_scholar_cite",
  "q": "FDc6HiktlqEJ",
  "api_key": "secret_api_key",
}

search = GoogleSearch(params)
results = search.get_dict()

示例 JSON 输出：

"citations": [
  {
    "title": "MLA",
    "snippet": "Schwertmann, U. T. R. M., and Reginald M. Taylor. \"Iron oxides.\" Minerals in soil environments 1 (1989): 379-438."
  },
  {
    "title": "APA",
    "snippet": "Schwertmann, U. T. R. M., & Taylor, R. M. (1989). Iron oxides. Minerals in soil environments, 1, 379-438."
  },
  {
    "title": "Chicago",
    "snippet": "Schwertmann, U. T. R. M., and Reginald M. Taylor. \"Iron oxides.\" Minerals in soil environments 1 (1989): 379-438."
  },
  {
    "title": "Harvard",
    "snippet": "Schwertmann, U.T.R.M. and Taylor, R.M., 1989. Iron oxides. Minerals in soil environments, 1, pp.379-438."
  },
  {
    "title": "Vancouver",
    "snippet": "Schwertmann UT, Taylor RM. Iron oxides. Minerals in soil environments. 1989 Jan 1;1:379-438."
  }
],
"links": [
  {
    "name": "BibTeX",
    "link": "https://scholar.googleusercontent.com/scholar.bib?q=info:FDc6HiktlqEJ:scholar.google.com/&output=citation&scisdr=CgXpniNQGAA:AAGBfm0AAAAAYMu3WkYJI4po_pgcUVKgwwFp1dl5uNYk&scisig=AAGBfm0AAAAAYMu3WlZR_joxo-i8FTZ1CphjzmW_d447&scisf=4&ct=citation&cd=-1&hl=en"
  },
  {
    "name": "EndNote",
    "link": "https://scholar.googleusercontent.com/scholar.enw?q=info:FDc6HiktlqEJ:scholar.google.com/&output=citation&scisdr=CgXpniNQGAA:AAGBfm0AAAAAYMu3WkYJI4po_pgcUVKgwwFp1dl5uNYk&scisig=AAGBfm0AAAAAYMu3WlZR_joxo-i8FTZ1CphjzmW_d447&scisf=3&ct=citation&cd=-1&hl=en"
  },
  {
    "name": "RefMan",
    "link": "https://scholar.googleusercontent.com/scholar.ris?q=info:FDc6HiktlqEJ:scholar.google.com/&output=citation&scisdr=CgXpniNQGAA:AAGBfm0AAAAAYMu3WkYJI4po_pgcUVKgwwFp1dl5uNYk&scisig=AAGBfm0AAAAAYMu3WlZR_joxo-i8FTZ1CphjzmW_d447&scisf=2&ct=citation&cd=-1&hl=en"
  },
  {
    "name": "RefWorks",
    "link": "https://scholar.googleusercontent.com/scholar.rfw?q=info:FDc6HiktlqEJ:scholar.google.com/&output=citation&scisdr=CgXpniNQGAA:AAGBfm0AAAAAYMu3WkYJI4po_pgcUVKgwwFp1dl5uNYk&scisig=AAGBfm0AAAAAYMu3WlZR_joxo-i8FTZ1CphjzmW_d447&scisf=1&ct=citation&cd=-1&hl=en"
  }
]

查看 documentation 了解更多详情。

免责声明：我在 SerpApi 工作。

导出 google 学术搜索结果中的链接

Exporting links in google scholar results

google-scholar