如何让搜索引擎抓取我网站上万个页面

How to make search engines crawl tens of thousands of pages in my website

我有大量的商品,每个商品都有一个这样的页面site/item_show.aspx?id=The_ID_here有几万个商品,每天添加近两千个.此外,每个项目在其页面中都有描述,因此对于每个项目,其页面应该被搜索引擎抓取。

我的问题是关于所描述的大量数据:如何生成站点地图或类似的东西以使所有项目都被 google 和其他搜索引擎看到?

很明显,我无法在第一页中显示所有项目,但我可以制作只包含 link 项目的页面,并为搜索引擎提供每页数十个项目。使项目被 google 索引是否有效或更好?

首先,使用 XML 站点地图并将其提交给 Google(请注意,我说的是站点地图 - 不止一个)。

接下来,确保您的网站内容很好地组织成类别和子类别 - 理想情况下,您希望所有元素都可以在没有用户(或 Googlebot ) 不得不求助于搜索功能。

最后,确保您的更受欢迎/重要的商品出现在主页或 1-2 次深度点击中,并获得指向这些特定产品页面的链接和社交分享。

受欢迎并获得指向您网站的链接。有一个可以处理爬网的好服务器。

There is also not a hard limit on our crawl. The best way to think about it is that the number of pages that we crawl is roughly proportional to your PageRank. So if you have a lot of incoming links on your root page, we’ll definitely crawl that. Then your root page may link to other pages, and those will get PageRank and we’ll crawl those as well. As you get deeper and deeper in your site, however, PageRank tends to decline...

https://www.stonetemple.com/matt-cutts-interviewed-by-eric-enge-2/

基本上有 3 种方法可以帮助您进行质量索引: 1. 为您的所有页面创建一个 XML SiteMap,并从您的主页向其 link。 2. 您应该安装 Google 网站站长工具,您可以将相同的 XML 文件加载到其中。 3. 有一个有组织的类别结构——根据你网站的类型,考虑一个逻辑类别结构,例如在电子商务商店中,所有产品都按产品主类别分类,然后按产品子类别分类,有时按品牌分类等等…… - 当然,您应该通过购物车平台执行此操作 - 请记住,如果您开始更改 URL 结构,您将需要处理从旧 URL 到新 URL 的所有重定向。