为什么 robots.txt 很重要？没有 robots.txt 的网站安全吗？
why is robots.txt important? is it safe to have a website without robots.txt?
虽然抓取网络 robots.txt 很重要，甚至可以规范行为。但是对于一个node.js的网站来说，有必要有一个机器人's.txt吗？
此外，什么是站点地图以及我在下面的示例中发现的为什么需要它？
User-Agent: *
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
Disallow: /jobs/n/*
Disallow: /jobs/a/*
Disallow: /jobs/companies/n/*
Disallow: /jobs/companies/a/*
Sitemap: https://whosebug.com/sitemap.xml
我浏览了几个链接并想要一个简短的解决方案。
此外，如果我没有 robots.txt，我的网站是否更容易受到威胁？
sitemap 是一个 XML 文件，其中包含您网站上所有网页的列表以及元数据（元数据是与每个 URL 相关的信息）。与 robots.txt 文件的工作方式相同，站点地图允许搜索引擎在一个位置抓取您网站上所有网页的索引。
虽然抓取网络 robots.txt 很重要，甚至可以规范行为。但是对于一个node.js的网站来说，有必要有一个机器人's.txt吗？ 此外，什么是站点地图以及我在下面的示例中发现的为什么需要它？
User-Agent: *
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
Disallow: /jobs/n/*
Disallow: /jobs/a/*
Disallow: /jobs/companies/n/*
Disallow: /jobs/companies/a/*
Sitemap: https://whosebug.com/sitemap.xml
我浏览了几个链接并想要一个简短的解决方案。 此外，如果我没有 robots.txt，我的网站是否更容易受到威胁？
sitemap 是一个 XML 文件，其中包含您网站上所有网页的列表以及元数据（元数据是与每个 URL 相关的信息）。与 robots.txt 文件的工作方式相同，站点地图允许搜索引擎在一个位置抓取您网站上所有网页的索引。