在 .Net Core [=10th=] 中间件中允许脚本标签
Allow script tags in .Net Core Prerender.io middlewear
我是 运行 .Net Core 中间件和 AngularJS 前端。在我的主页上，我有 google 个分析脚本标签，以及与第三方提供商验证所需的其他脚本标签。 Prerender.io 默认删除这些，但是，有一个插件 "removeScriptTags"。有没有人有使用 .Net Core 中间件关闭它的经验？
更好的解决方案可能是将您不想看到缓存内容的爬虫列入黑名单，但我不确定这是可配置的。就我而言，看起来下面的所有用户代理都在访问 Prerender.io 缓存内容。
这是我的 "crawlerUserAgentPattern" 应该允许访问缓存内容的爬虫。我没有在这个列表中看到上面的那些，所以我很困惑为什么他们被允许访问。
"(SeobilityBot)|(Seobility)|(seobility)|(bingbot)|(googlebot)|(google)|(bing )|(Slurp)|(DuckDuckBot)|(YandexBot)|(baiduspider)|(Sogou)|(Exabot)|(ia_archiver)|(facebot)|(facebook)|(twitterbot)|(rogerbot)| (linkedinbot)|(embedly)|(quora)|(pinterest)|(slackbot)|(redditbot)|(Applebot)|(WhatsApp)|(flipboard)|(tumblr)|(bitlybot)|(Discordbot)"= 12=]
您的正则表达式中似乎有 (google)。你已经有 googlebot 了所以我建议你删除 (google) 如果你不想匹配任何只包含单词 "google".
的用户代理
我是 运行 .Net Core 中间件和 AngularJS 前端。在我的主页上，我有 google 个分析脚本标签，以及与第三方提供商验证所需的其他脚本标签。 Prerender.io 默认删除这些，但是，有一个插件 "removeScriptTags"。有没有人有使用 .Net Core 中间件关闭它的经验？
更好的解决方案可能是将您不想看到缓存内容的爬虫列入黑名单，但我不确定这是可配置的。就我而言，看起来下面的所有用户代理都在访问 Prerender.io 缓存内容。
这是我的 "crawlerUserAgentPattern" 应该允许访问缓存内容的爬虫。我没有在这个列表中看到上面的那些，所以我很困惑为什么他们被允许访问。
"(SeobilityBot)|(Seobility)|(seobility)|(bingbot)|(googlebot)|(google)|(bing )|(Slurp)|(DuckDuckBot)|(YandexBot)|(baiduspider)|(Sogou)|(Exabot)|(ia_archiver)|(facebot)|(facebook)|(twitterbot)|(rogerbot)| (linkedinbot)|(embedly)|(quora)|(pinterest)|(slackbot)|(redditbot)|(Applebot)|(WhatsApp)|(flipboard)|(tumblr)|(bitlybot)|(Discordbot)"= 12=]
您的正则表达式中似乎有 (google)。你已经有 googlebot 了所以我建议你删除 (google) 如果你不想匹配任何只包含单词 "google".