Google Webmaster crewl 服务器错误
Google Webmaster crewl server error
我已经在 google 网站管理员上设置了我的网站。当我调查 Crwal 错误时，我发现服务器错误和 URL 错误。
URL 错误（404）：
我有一个这样的页面 /home/GetCitiesShow 其中。此页面在我的网站上没有实体 link，但我将该页面用作中间页面。如果我在地址栏中添加 URL，站点将显示我创建的自定义页面未找到错误。
此页面显示在我的 google 网站管理员的 URL 错误部分。
我对此有很多问题
1) google 如何抓取此页面？它的域名在站点上有物理 link 或物理页面（.html 或 .asp），但在 sitemap.xml 中没有。
2) 如果我维护了一个在基于 URL 请求的页面上找不到的自定义页面，为什么它在 google 网站管理员上显示为 404 错误？
3）这个错误的最佳实践？将它添加到 robot.txt 中或以不同方式处理错误或只是做其他事情？
有很多原因导致您在网站中显示某些页面甚至没有退出的 404 错误
1. 可能是您的域以前被使用过并且已经在 google 中编入索引
2. 您使用了一个创建演示页面的主题，这些页面自动索引为 Google bot 始终在搜索中搜索和索引新页面。
尝试在 google 站点中搜索：yourdomain.com 以浏览 domain/website 的所有索引页面
您可以通过 google webmaster/search console
提交删除不需要的 url 的请求
我已经在 google 网站管理员上设置了我的网站。当我调查 Crwal 错误时，我发现服务器错误和 URL 错误。
URL 错误（404）： 我有一个这样的页面 /home/GetCitiesShow 其中。此页面在我的网站上没有实体 link，但我将该页面用作中间页面。如果我在地址栏中添加 URL，站点将显示我创建的自定义页面未找到错误。
此页面显示在我的 google 网站管理员的 URL 错误部分。 我对此有很多问题 1) google 如何抓取此页面？它的域名在站点上有物理 link 或物理页面（.html 或 .asp），但在 sitemap.xml 中没有。 2) 如果我维护了一个在基于 URL 请求的页面上找不到的自定义页面，为什么它在 google 网站管理员上显示为 404 错误？ 3）这个错误的最佳实践？将它添加到 robot.txt 中或以不同方式处理错误或只是做其他事情？
有很多原因导致您在网站中显示某些页面甚至没有退出的 404 错误 1. 可能是您的域以前被使用过并且已经在 google 中编入索引 2. 您使用了一个创建演示页面的主题，这些页面自动索引为 Google bot 始终在搜索中搜索和索引新页面。 尝试在 google 站点中搜索：yourdomain.com 以浏览 domain/website 的所有索引页面 您可以通过 google webmaster/search console
提交删除不需要的 url 的请求