通过 Python 访问 Indeed

Question

我的此 python 代码的目标是创建一种将工作信息获取到文件夹中的方法。第一步是不成功。当 运行 代码时，我希望 url 打印 https://www.indeed.com/. However instead the code returns https://secure.indeed.com/account/login。我愿意使用 urlib 或 cookielib 来解决这个持续存在的问题。

import requests
import urllib

data = {
        'action':'Login',
        '__email':'email@gmail.com',
        '__password':'password',
        'remember':'1',
        'hl':'en',
        'continue':'/account/view?hl=en',
       }


response = requests.get('https://secure.indeed.com/account/login',data=data)
print(response.url)

Answer 1

如果你想从 indeed 中抓取信息，你应该使用 selenium 库 python。

https://pypi.python.org/pypi/selenium

然后您可以在正常浏览网站的真实用户的上下文中编写您的程序。