在网页上做了一些选择，如何找到正确的URL？

Question

我对网络抓取还很陌生。通过使用 xpath 选择器，我试图获取有关该网页的知识：https://seffaflik.epias.com.tr/transparency/uretim/planlama/kgup.xhtml

但重点是，无论何时更改日期或动力装置名称，URL 都不会更改，因此当您获取响应时，您总是得到相同且错误的答案。有没有办法找到正确的 URL 或与 HTML 标记等相关的任何其他内容？

Answer 1

对于这样的抓取操作，您需要做的不仅仅是加载文档然后抓取内容。相关文档依赖于 JavaScript 在用户定义一组特定参数并更新表单后从其他资源加载新信息。

加载文档后，您需要定义搜索参数。您可以通过 JavaScript 注入或通过浏览器的控制台执行此操作。例如，如果您尝试定义第一个日期字段的值，您可以使用

document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";

对您希望在搜索中定义的其他字段重复此过程，然后运行以下代码以编程方式执行您的搜索：

document.querySelector('#j_idt199 button').click();

之后，您可以使用纯 JS 查询选择器获取您想要的信息，或者您可以实现像 artoo.js 这样的抓取库来帮助您解释数据并导出它。