使用请求检索表单结果

Question

我想提交一个 multipart/form-data 来为 TRILEGAL 上的模拟设置输入，并从重定向页面下载可用的文件。

我研究了请求、urllib、Grab、mechanize 等文档，似乎在 mechanize 中我的代码是：

from mechanize import Browser
browser = Browser()
browser.open("http://stev.oapd.inaf.it/cgi-bin/trilegal")
browser.select_form(nr=0)
browser['gal_coord'] = ["2"]
browser['eq_alpha'] = ["277.981111"]
browser['eq_delta'] = ["-19.0833"]
response = browser.submit()
content = response.read()

但是，我无法测试它，因为它在 python 3.

中不可用。

所以我尝试了请求：

import requests
url = 'http://stev.oapd.inaf.it/cgi-bin/trilegal'
values = {'gal_coord':"2",
        'eq_alpha':"277.981111",
        'eq_delta':"-19.0833",
        'field':" 0.047117",
          }
r = requests.post(url, files = values)

但我不知道如何进入结果页面 - 如果我这样做

r.content

它显示我刚刚提交的表单的内容，而如果您打开实际的 website，然后单击 'submit'，您会看到一个新的 window（在方法="post" 动作=”./trilegal_1.6”）。

我如何通过请求到达新的 window（即点击提交按钮后打开的页面），然后点击结果页面上的 link 进行检索结果文件（"The results will be available after about 2 minutes at THIS LINK."）？

如果您能指出任何其他可以完成这项工作的工具，我将非常感激 - 我花了几个小时在 SO 中寻找可以帮助解决这个问题的东西。

谢谢！

克里斯

Answer 1

这是 python 2.7

的有效解决方案

from mechanize import Browser
from urllib import urlretrieve # for download purpose
from bs4 import BeautifulSoup

browser = Browser()
browser.open("http://stev.oapd.inaf.it/cgi-bin/trilegal")
browser.select_form(nr=0)
browser['gal_coord'] = ["2"]
browser['eq_alpha'] = ["277.981111"]
browser['eq_delta'] = ["-19.0833"]
response = browser.submit()
content = response.read()

soup = BeautifulSoup(content, 'html.parser')
base_url = 'http://stev.oapd.inaf.it'

# fetch the url from page source and it to base url
link = soup.findAll('a')[0]['href'].split('..')[1]
url = base_url + str(link)
filename = 'test.dat'

# now download the file
urlretrieve(url, filename)

您的文件将下载为 test.dat。您可以使用相应的程序打开它。

Answer 2

我post一个单独的答案，因为它太杂乱了。感谢@ksai，这在 python 2.7 中有效：

import re
import time
from mechanize import Browser

browser = Browser()
browser.open("http://stev.oapd.inaf.it/cgi-bin/trilegal")
browser.select_form(nr=0) 

#set appropriate form contents 
browser['gal_coord'] = ["2"]
browser['eq_alpha'] = "277.981111"
browser['eq_delta'] = "-19.0833"
browser['field'] = " 0.047117" 
browser['photsys_file'] = ["tab_mag_odfnew/tab_mag_lsst.dat"]
browser["icm_lim"] = "3"
browser["mag_lim"] = "24.5"                                
response = browser.submit()

# wait 1 min while results are prepared
time.sleep(60)

# select the appropriate url
url = 'http://stev.oapd.inaf.it/' + str(browser.links()[0].url[3:])

# download the results file 
browser.retrieve(url, 'test1.dat')

非常感谢！克里斯

使用请求检索表单结果

Retrieving a form results with requests

python

python-requests

mechanize

forms

robobrowser