Google 无法抓取生成的 CSS 和源自自定义输出缓存的 JS 路径

Question

我已经为我的网站设置了自定义输出缓存。一切都按预期工作，我可以看到包含二进制文件的缓存文件夹。当我访问该网站时，我得到了缓存的页面，它按应有的方式呈现。

问题是当我尝试使用Google站长工具渲染页面时，Google无法访问BundleConfig中生成的css路径~/bundles/styles/maincss/，javascript 路径也是如此。`。当我访问这两个路径时，我看到了缩小的 JS 和 CSS 文件，并且浏览器确实正确呈现了页面。

这会带来一个问题，因为现在当我使用移动测试工具测试页面时，我发现这些页面不适合移动设备。出于某种原因 Google 无法访问这些路径，虽然当我运行在网站管理员工具中进行网络抓取时，它确实对用户呈现良好，但对 Google-bot 而言却不是。

这在我不使用自定义输出缓存时有效，仅使用默认的 Outputcache。

知道如何解决这个问题。

自定义输出缓存代码：

Web.config:

</connectionStrings> 
 <appSettings>
   <add key="CacheLocation" value="~/Cache"/>
 </appSettings>
 <system.web>
   <caching>
     <outputCache defaultProvider="FileCache">
       <providers>
        <add name="FileCache" type="ProjectX.FileCacheProvider"/>
    </providers>
  </outputCache>
</caching>

缓存Class:

using System;
using System.Configuration;
using System.IO;
using System.Runtime.Serialization.Formatters.Binary;
using System.Web;
using System.Web.Caching;

namespace ProjectX
{
    [Serializable]
    public class CacheItem
    {
        public object Item { get; set; }
        public DateTime Expiry { get; set; }
    }

    public class FileCacheProvider : OutputCacheProvider
    {
        private string CacheLocation
        {
            get
            {
                string strCacheLocation = ConfigurationManager.AppSettings["CacheLocation"];
                strCacheLocation = HttpContext.Current.Server.MapPath(strCacheLocation);
                return strCacheLocation + @"\";
            }
        }


        private string GetFullPathForKey(string key)
        {
            string temp = key.Replace('/', '$');
            return CacheLocation + temp;
        }

        public override object Add(string key, object entry, DateTime utcExpiry)
        {
            object obj = this.Get(key);
            if (obj != null)
            {
                return obj;
            }
            else
            {
                this.Set(key, entry, utcExpiry);
                return entry;
            }
        }

        public override void Remove(string key)
        {
            string filePath = GetFullPathForKey(key);
            if (File.Exists(filePath))
            {
                File.Delete(filePath);
            }
        }

        public override object Get(string key)
        {
            string filePath = GetFullPathForKey(key);
            if (!File.Exists(filePath))
            {
                return null;
            }
            CacheItem item = null;
            FileStream fileStream = File.OpenRead(filePath);
            BinaryFormatter formatter = new BinaryFormatter();
            item = (CacheItem)formatter.Deserialize(fileStream);
            fileStream.Close();
            if (item == null || item.Expiry <= DateTime.UtcNow)
            {
                Remove(key);
                return null;
            }
            return item.Item;
        }



        public override void Set(string key, object entry, DateTime utcExpiry)
        {
            string filePath = GetFullPathForKey(key);
            CacheItem item = new CacheItem { Expiry = utcExpiry, Item = entry };
            FileStream fileStream = File.OpenWrite(filePath);
            BinaryFormatter formatter = new BinaryFormatter();
            formatter.Serialize(fileStream, item);
            fileStream.Close();
        }
    }
}

Answer 1

如果你想继续沿着这条路走下去（我假设你已经使用过 https://weblogs.asp.net/gunnarpeipman/asp-net-4-0-writing-custom-output-cache-providers as your starting point?), you will need to change GetFullPathForKey so that it generates valid filenames. How to remove illegal characters from path and filenames? 可能会帮助你做到这一点。你还需要更改你的代码，以便它不会在两个线程时崩溃尝试同时写入同一个文件。此外，您确实应该引入 MemoryCache 的使用，以避免每次 Get 调用您的 class 时都访问文件系统。 这将是很多工作。

我建议考虑将这些 NuGet 包作为替代方案。他们开箱即用，并经过充分测试：

或者只是在帮助缓存的 Web 服务器前面重击反向代理 - 例如http://mikehadlow.blogspot.com.au/2013/05/the-benefits-of-reverse-proxy.html .

Google 无法抓取生成的 CSS 和源自自定义输出缓存的 JS 路径

Google can't crawl generated CSS and JS paths originating from Custom outputcache

c#

asp.net

caching

outputcache