从需要身份验证的网站获取数据

Getting data from website requiring authentication

在 PowerBI 中,我想从需要身份验证的网站 (http://kdp.amazon.com/) 获取数据。转到 New Source、Web、Advanced,并没有向我展示任何看起来很有希望的东西。希望我遗漏了什么。

我的理想是转到特定网页(post 身份验证),然后单击允许我下载 excel 电子表格的 link。

感谢任何ideas/pointers。

视情况而定,您的情况可能性很小。

如果它直接 URL 到数据或文件所在的位置(例如数据在页面上,文件 link,网络 API 端点),那么它取决于该网站使用何种身份验证方法,以及您是否可以通过 Web.Contents 选项提供凭据。 (常用于网页API认证)

如果验证后需要进一步导航(例如单击、输入信息)来访问数据/文件,则答案是否定的。

这种类型的数据抓取可以使用无头浏览器和 scripting/macro 引擎来完成。

例如 xvfb(X 虚拟帧缓冲区)+ firefox + iMacros。我确实认为这超出了 power bi 的能力范围。如果您想进一步研究,这里有一些参考资料:

https://en.wikipedia.org/wiki/Xvfb

https://addons.mozilla.org/en-us/firefox/addon/imacros-for-firefox/

同样,类似但使用备用工具集:

http://scraping.pro/use-headless-firefox-scraping-linux/

顺便说一句,以前做过一两次 - 这不是一个很好的价值主张。如果您不得不采用这种策略,可能是时候考虑一​​下为什么开发人员没有在 API 中向您公开此功能 - 也许有充分的理由?