收集抓取页面的 url

Question

有什么方法可以收集被抓取的页面的 URL 吗？ 作为一个带有链接的专栏，或者更好的是，可以将 url 附加到抓取的图像或文本上吗？

Answer 1

这与下载抓取数据时得到的源页面URL不一样吗？

如果您要查找的是您正在访问的所有链接，您可以使用高级抓取工具设置保存日志功能。这将生成一个 TSV 文件，我建议您在电子表格中查看该文件。该文件可让您查看所有已转换的链接、失败的链接、被阻止的链接等。