Python: grequest 和 request 给出不同的响应

Question

我原来的任务：使用Trello API，通过HTTP GET请求获取数据。运行如果可能，异步请求和处理响应。 API 提供商使用 "https://" URL 我通过一些密钥和令牌访问。

我使用的工具：

Python 2.7.10 |蟒蛇 2.3.0（64 位）| （默认，2015 年 5 月 28 日，16:44:52）[MSC v.1500 64 位 (AMD64)] on win32
requests 图书馆（只是无需安装即可导入）
grequests 库（通过 pip 安装来自 this git repo)

原始任务结果： 只有 requests 库有效，我得到了 Trello API 的回复，太好了。 grequests 库失败 status_code = 302。

我试图理解它发生的原因并编写了两个可重现的脚本。

脚本 A：requests 使用的库：

import requests

urls = [
    "https://www.google.com",
    "https://www.facebook.com/",
    "http://www.facebook.com/",
    "http://www.google.com",
    "http://fakedomain/",
    "http://python-tablib.org"
]

# Run requests:
for url in urls:
    print requests.get(url).status_code

控制台输出 A（由于 http://fakedomain/ 而有一些异常）：

200
200
200
200
Traceback (most recent call last):
  File "req.py", line 14, in <module>
    print requests.get(url).status_code
  File "D:\python\lib\site-packages\requests\api.py", line 69, in get
    return request('get', url, params=params, **kwargs)
  File "D:\python\lib\site-packages\requests\api.py", line 50, in request
    response = session.request(method=method, url=url, **kwargs)
  File "D:\python\lib\site-packages\requests\sessions.py", line 465, in request
    resp = self.send(prep, **send_kwargs)
  File "D:\python\lib\site-packages\requests\sessions.py", line 573, in send
    r = adapter.send(request, **kwargs)
  File "D:\python\lib\site-packages\requests\adapters.py", line 415, in send
    raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', gaierror(11001, 'getaddrinfo failed'))

脚本 B：grequests 库与 map 一起使用以发送异步请求：

import grequests

# This function will execute set of instructions when responses come:
def proc_response(response, **kwargs):
    # do something ..
    print response

# Request exception handler:
def my_except_handler(request, excetion):
    print "Request failed : " + request.url

urls = [
    "https://www.google.com",
    "https://www.facebook.com/",
    "http://www.facebook.com/",
    "http://www.google.com",
    "http://fakedomain/",
    "http://python-tablib.org"
]
# Here is the list of tasks we build and run in parallel later:
actions_list = []

# Tasks list building:
for url in urls:
    action_item = grequests.get(url, hooks = {'response' : proc_response})
    actions_list.append(action_item)

# Run grequests:
print grequests.map(actions_list, exception_handler=my_except_handler)

控制台输出 B :

<Response [302]>
<Response [302]>
<Response [200]>
<Response [301]>
<Response [302]>
<Response [200]>
Request failed : https://www.google.com
Request failed : https://www.facebook.com/
Request failed : http://www.facebook.com/
Request failed : http://fakedomain/
[None, None, None, <Response [200]>, None, <Response [200]>]

根据这些信息和我相对较少的经验，我可以得出的结论如下 - 由于某种原因 grequests 被远程网站拒绝 requests 正常工作。只要 302 意味着某种重定向，似乎 grequests 就无法从它被重定向到的源获取数据，而 requests 可以。脚本 B 中 get 方法中的 allow_redirects=True 没有解决问题。

我想知道为什么图书馆给出不同的反应。有可能我遗漏了什么，这两个脚本必须 return 设计上的不同结果，而不是因为两个库之间的差异。

提前感谢您的帮助。

Answer 1

grequests 很适合我

这是我的脚本 b.py，我运行通过 $ py.test -sv b.py:

import pytest
import grequests


@pytest.fixture
def urls():
    return [
        "https://www.google.com",
        "https://www.facebook.com/",
        "http://www.facebook.com/",
        "http://www.google.com",
        "http://fakedomain/",
        "http://python-tablib.org"
    ]


# This function will execute set of instructions when responses come:
def proc_response(response, **kwargs):
    # do something ..
    print "========Processing response=============", response.request.url
    print response
    if response.status_code != 200:
        print response.request.url
        print response.content


# Request exception handler:
def my_except_handler(request, exception):
    print "Request failed : " + request.url
    print request.response


def test_it(urls):
    # Here is the list of tasks we build and run in parallel later:
    actions_list = []

    # Tasks list building:
    for url in urls:
        action_item = grequests.get(url, hooks={'response': proc_response})
        actions_list.append(action_item)

    # Run grequests:
    print grequests.map(actions_list, exception_handler=my_except_handler)

它基于您的代码，重写只是为了方便我的实验。

结果：最终结果为200或None

我测试的最后打印输出显示：

[<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, None, <Response [200]>]

这是预期的。

请注意，您在获取数据时可能会遇到一些临时问题，玩家太多了参加。

结论：不同的响应处理让您感到困惑

不同之处在于，requests 要求的是最终结果，而 grequests 要求的是最终结果部署 process_response 挂钩，每个响应都会调用它，包括重定向响应。

requests 处理也经过重定向，但不会报告此临时响应。

Python: grequest 和 request 给出不同的响应

Python: grequest and request give different response

python

grequests

grequests 很适合我

结果：最终结果为200或None

结论：不同的响应处理让您感到困惑