在包含 javascript 的网站上使用 NodeJS 进行抓取
Scraping with NodeJS on website containing javascript
我正在使用请求从某人的 SoundCloud 页面上抓取网页。加载时 SoundCloud 正在检查 javascript 是否启用，然后加载曲目列表。
当我抓取页面时，它只是 returns 一个示例 html，其中有关于 Javascript 被禁用的错误。
有解决办法吗？
我可以“捕获”SoundCloud javascript 发出的请求以获取歌曲列表并在 nodeJs 中自己完成吗？
Ps: 个人副业，欢迎提出奇葩方案
你会在家里和 CasperJS FAQ and home page
我正在使用请求从某人的 SoundCloud 页面上抓取网页。加载时 SoundCloud 正在检查 javascript 是否启用，然后加载曲目列表。
当我抓取页面时，它只是 returns 一个示例 html，其中有关于 Javascript 被禁用的错误。
有解决办法吗？ 我可以“捕获”SoundCloud javascript 发出的请求以获取歌曲列表并在 nodeJs 中自己完成吗？
Ps: 个人副业，欢迎提出奇葩方案
你会在家里和 CasperJS FAQ and home page