Storm Crawler-爬取需要身份验证的网站

Storm Crawler- Crawling the websites which require authentication

我想使用 Storm Crawler 在 Intranet 中抓取需要授权(我已经有凭据)的网站。是否可以通过简单地修改爬虫配置来做到这一点,或者我应该更改源代码中的 类,如果是,哪个 类?

当前不可用。我已经为此 #427 开了一个问题,你需要修改 HttpProtocol class。这将是一个巨大的贡献,非常受欢迎。