我遇到 robot.txt 文件的问题

Question

我正在使用 WordPress。 Google 没有抓取我页面的所有资源。它显示“页面已部分加载”。我已经准备好多次尝试使用 robots.txt 文件来解决这个问题。我的网站 return 网关错误。

截图如下

我的robots.txt文件

User-agent:  *
Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /linkout/

Disallow: /recommended/

Disallow: /comments/feed/

Disallow: /trackback/

Disallow: /index.php

Disallow: /xmlrpc.php

User-agent: NinjaBot
Allow: /

User-agent: Mediapartners-Google*

Allow: /

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: Adsbot-Google

Allow: /


User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://www.alphaclick.in/sitemap_index.xml
Sitemap: https://www.alphaclick.in/post-sitemap.xml

Answer 1

删除此行Disallow: /index.php。它阻止了整个网站的机器人程序。有关 robots.txt 文件的更多信息，您可以获得 here

我遇到 robot.txt 文件的问题

I facing an issue with robot.txt file

wordpress

robots.txt