由于添加 HTTP 安全 headers，Ahrefs.com 产生 JS 404

Question

我们正在使用 WP Engine 作为我们的网站托管服务商。我添加了一些 Web 规则来生成以下 HTTP headers:

X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Referrer-Policy: origin-when-cross-origin
Feature-Policy: geolocation 'self'
X-Frame-Options: SAMEORIGIN
Content-Security-Policy: upgrade-insecure-requests

自从进行上述更改后，下一次 Ahrefs.com 站点审核为某些 Beaver Builder JS 文件生成了大量 404。

如果您加载 Ahrefs 检测到 404 的网页，则没有损坏的资源。

只有 Ahrefs 用户代理会为某些 Beaver Builder JS 文件生成 404。

上面添加的 HTTP headers 是否可以由 Ahrefs 用户代理生成这些 404？

WP 引擎说 Ahrefs 用户代理没有被阻止。

感谢帮助。

更新：在 Ahrefs 抓取设置中，打开“执行 Javascript”为我们解决了这个问题。

Answer 1

前段时间，Arefs 宣布为其 Crawler and for Site Audit tool.

渲染网页并执行 JavaScript

为此，Ahrefs 必须部分实现浏览器渲染。这不是 full-fledged 浏览器实现的，但它的“准备好使用”代码的某些部分被采用了。此渲染器继承了对 HTTP headers 的部分支持，它内置于此“ready-to-use”代码中。
但主要任务是搜索通过 javascript 插入的链接，而不是完全支持 HTTP headers。

因此，使用的实现不正确地执行了一些headers，具体是哪一个只能通过试验才能发现- 一个一个禁用它们并等待结果。
但这些几乎不是 headers Referrer-Policy、Feature-Policy 和 X-Frame-Options - 它们不会导致 404 Not Found 错误。

很可能，这些只是加载外部脚本的 Ahrefs 渲染器错误，它们不太可能对 Ahrefs 的分析能力或 SE 排名产生影响。

由于添加 HTTP 安全 headers，Ahrefs.com 产生 JS 404

Since adding HTTP security headers, Ahrefs.com produces JS 404s

http-headers