在 Mechanize 中发出 LoadControl XHR 请求

Question

我有一个带有 Mechanize 的 Python 脚本来导航外部网站。该网站显然是用 ASP.NET 编写的，并且正在使用动态控件。我正在尝试模拟 XHR 来加载控件（通常通过单击 <button> 触发），但是每当我创建 XHR 时 ASP 服务器 returns 都会出现 500 错误。我匹配了通常发送的 POST 请求的负载。

基本上，我是这样做的：

browser = mechanize.Browser()

browser.open('https://external.site/page.html')
# Here would be code to parse the content and extract the
# parameters for the XHR.

# Now we're making the XHR to update the control:
body = urllib.parse.urlencode({
    'request': {
                'control': 'Control_Name',
                'parameters': parameters,
            }
        })

request = mechanize.Request(
    url='https://external.site/server.asmx/LoadControl',
    data=body,
    method='POST',
)

response = browser.open(request)

当我这样做时，浏览器引发异常，因为它从服务器收到了 500。

由于 CORS 检查或类似的原因，这可能是不可能的，但我觉得我只是没有正确提出请求。 URL 和数据有效负载与我通过浏览器使用外部网站时通常发送的内容相匹配。

有没有办法通过 Mechanize 发出 LoadControl 请求？

作为参考，我尝试导航的网站上的按钮如下所示：

<button type="button"
     data-focus="{&quot;LoadParams&quot;:{&quot;ControlName&quot;: [lots of key/value pairs here here]"}}"
     data-action="GB.LoadControl">Button</button>

当我点击按钮时，XHR 包含以下有效负载：

{
    "request": {
        [the data here matches data-focus from the button]
    }
}

并且请求headers：

POST /MyService.asmx/LoadControl HTTP/1.1
Host: myservice.com
Connection: keep-alive
Content-Length: 367
Accept: application/json, text/javascript, */*; q=0.01
X-Requested-With: XMLHttpRequest 
User-Agent: Mozilla/5.0 (X11; CrOS x86_64 12871.23.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.31 Safari/537.36 
Content-Type: application/json; charset=UTF-8 
Origin: https://myservice.com 
Sec-Fetch-Site: same-origin 
Sec-Fetch-Mode: cors 
Sec-Fetch-Dest: empty 
Referer: https://myservice.comService.aspx?AGU=1&[...] 
Accept-Encoding: gzip, deflate, br 
Accept-Language: en-US,en;q=0.9,de-DE;q=0.8,de;q=0.7 
Cookie: BIGipServerSD_Home=224813834.20480.0000; ASP.NET_SessionId=152i5tiwq1r2cbiuamxxxxxx; PVUE=00

Answer 1

发送到服务器的 mechanize 请求中的 Content-type header 是 application/x-www-form-urlencoded。

在request

传入的headers参数中将Content-type设置为application/json

headers = {'Content-type': 'application/json'}
request = mechanize.Request(
    url='https://external.site/server.asmx/LoadControl',
    data=body,
    method='POST',
    headers=headers
)

在 Mechanize 中发出 LoadControl XHR 请求

Making LoadControl XHR request in Mechanize

python

asp.net

mechanize