Node with express - 自动抓取并生成站点地图

Question

我的网站变化非常频繁，我需要一种每天动态生成新站点地图的方法。

我尝试使用 sitemap.js，但它需要我为我的站点提供特定的 URL。

我想知道是否有办法让它抓取网站并根据它动态找到的 URL 生成网站地图。

如果没有，是否有任何其他服务器端脚本可用于动态生成站点地图？

谢谢

Answer 1

您的网站是否包含任何后端？还是存储数据？或者它只是干净的 HTML 而已？如果它是第一个或第二个选项中的任何一个，那么您可以从中提取它。或者你可以 1. 获取您的主页，提取所有网址， 2. 省略其他域的网址。 3. 重复您存储的链接。 4. 不重复存储。