Python请求数据错误？
Python Requests Data Error?
我正在使用请求和 BeatifulSoup 从网页中检索和提取信息。
但是，当我调用requests.get(url)然后打印出文本结果时，它与我在网页上看到的'Inspect Element'不一样。 HTML 代码的多个部分丢失，一些标签在跨度中有 "Loading" 等
我怀疑这意味着 requests.get() 函数在页面完全加载之前从页面中提取数据。
有什么办法可以避免这种情况吗？
谢谢。
如评论中所述，您通过检查在浏览器中看到的是 HTML，它可能是用 javascript 呈现的。
您的代码：
requests.get(url)
是来自服务器的原始响应。 javascript 尚未呈现并为您提供了动态创建的 HTML。
如评论中所述，如果您需要您的程序呈现此页面，您可能想尝试 Selenium、PhantomJS、QT4 或 Ghost。
硒：https://pypi.python.org/pypi/selenium
PhantomJS：https://github.com/elias-winberg/phantomjs-python
我正在使用请求和 BeatifulSoup 从网页中检索和提取信息。
但是，当我调用requests.get(url)然后打印出文本结果时，它与我在网页上看到的'Inspect Element'不一样。 HTML 代码的多个部分丢失，一些标签在跨度中有 "Loading" 等
我怀疑这意味着 requests.get() 函数在页面完全加载之前从页面中提取数据。
有什么办法可以避免这种情况吗？
谢谢。
如评论中所述，您通过检查在浏览器中看到的是 HTML，它可能是用 javascript 呈现的。
您的代码：
requests.get(url)
是来自服务器的原始响应。 javascript 尚未呈现并为您提供了动态创建的 HTML。
如评论中所述，如果您需要您的程序呈现此页面，您可能想尝试 Selenium、PhantomJS、QT4 或 Ghost。
硒：https://pypi.python.org/pypi/selenium
PhantomJS：https://github.com/elias-winberg/phantomjs-python