从网站获取索引到 google 的所有网址

Question

我想要一个程序，从一个网站获取所有索引到它的 url 并输出良好，比如逐行获取所有 url，并获取网站中未使用的 url（因为蜘蛛已经可以做到了）。

我一直在搜索和寻找 sloopy 选项，我想要的是准确和简单的：输入：URL输出：所有 URLS。

Answer 1

我现在不知道这样的应用程序，但我会尝试通过划分来简化您的任务：

1. 您需要一份您网站内部链接的列表。任何网络爬虫工具都可以做到这一点。
2. 您需要一份由 Google 索引的网站页面列表。有很多SE索引检查器，你可以google它。
3. 比较 2nd 列表与 1st 列表，找到 Google 索引中存在但丢失的所有链接在您的网站上。