Python Webscraping，如何在网站上导航？

Question

我正在编写一个程序，该程序应从网站读取某些数据并仅输出某些数据（来自 table 的数据）。但是，我运行陷入了一个问题。我编写了一个登录该网站的程序，但我必须从该网站转到下一个网站，然后打开包含数据的文档。不幸的是，我不知道如何更改网站，然后打开文档并读出数据。有谁知道我怎样才能到达那里？

from bs4 import BeautifulSoup
import requests

User = ''
Pass = ''
LOGIN_URL = ''
LOGIN_API_URL = ''


def main():
    session_requests = requests.session()
    result = session_requests.get(LOGIN_URL)
    cookies = result.cookies
    soup = BeautifulSoup(result.content, "html.parser")
    auth_token = soup.find("input", {'name': 'logintoken'}).get('value')

    payload = {'username': User, 'password': Pass , 'logintoken':auth_token }

    result = session_requests.post(
    LOGIN_API_URL,
    data=payload,
    cookies=cookies
    )

    #Report successful login
    print("Login succeeded: ", result.ok)
    print("Status code:", result.status_code)
    print(result.text)

    #Get Data



    # Close Session
    requests.session().close()
    print('Session closed')

# Entry point
if __name__ == '__main__':
    main()

Answer 1

你应该阅读Selenium with Python。由于没有具体的 URL 或登录详细信息（无论如何你都不应该 post 在这里），我们任何人都很难创建一个工作示例，因为我们没有任何工作与.

尝试使用上面 link 中的 selenium，如果您有任何问题或运行遇到任何问题，请回来提出具体问题。

BS4 和请求可能很强大，但 selenium 模拟网络浏览器并让您像“人类”一样浏览网站。从这里开始。

Python Webscraping，如何在网站上导航？

Python Webscraping, how to navigate on a website?

python

beautifulsoup

request