HTTP 301 重定向 url 编码问题

Question

我正在使用 Python 的 requests.get() 获取一些 Facebook 个人资料 HTML。其中一些将请求重定向到新的 url。当这个新的 url 有特殊字符时，例如 'á'，request.get() 方法进入重定向循环，直到引发异常。我找到了一种解决方法来更正重定向 url 字符串，在 "Location" 键下的响应 header 中找到，但这远非一个优雅的解决方案。

import requests

# This case works. Response [200]
r = requests.get('https://www.facebook.com/profile.php?id=4')
print(r)

# This fails. Redirect location has special characters.
# raises requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
not_working_url = 'https://www.facebook.com/profile.php?id=100010922979377'
try:
    r = requests.get(not_working_url)
except Exception as e:
    print(e)  # Exceeded 30 redirects.

# Workaround
r = requests.get(not_working_url,
                 allow_redirects=False)
redirect_url = r.headers["Location"]
print(redirect_url)
# "https://www.facebook.com/people/TomÃ¡s-Navarro-Febre/100010922979377"
# Special character 'á' on "/Tomás_Navarro_Febre/" is displayed as 'Ã¡'.

# This fixes the string.
redirect_url = redirect_url.encode('raw_unicode_escape').decode('utf-8')
print(redirect_url)
# "https://www.facebook.com/people/Tomás-Navarro-Febre/100010922979377"

# Now it works. Response [200]
r = requests.get(redirect_url)
print(r)

一定有更好的方法来处理这个问题。我尝试了一堆不同的 headers，并使用 requests.Session()，但其中 none 有效。在此先感谢您的帮助。

Answer 1

Headers 通常编码为 Latin-1，因此 requests 用来解码所有 header。然而，在实践中，Location header 通常使用 UTF-8 代替。然后您看到的是 Mojibake，在本例中 UTF-8 数据被解码为 Latin-1。

自requests 2.14.0（2017年5月发布）起，库specifically decodes the Location header as UTF-8，正是为了避免你遇到的问题。升级您的请求库。

如果无法升级，可以将class Session class 转'patch' 本地问题：

class UTF8RedirectingSession(requests.Session):
    def get_redirect_target(self, resp):
        if resp.is_redirect:
            return resp.headers['location'].encode('latin1').decode('utf8')
        return None

然后使用

with UTF8RedirectingSession() as session:
    response = session.get(...)

HTTP 301 重定向 url 编码问题

HTTP 301 redirect url encoding issue

html

python

encoding

mojibake

python-requests