Python: 如何从网页读取数据,然后从数据库写回?

Python: How to read data from webpage and then write back from database?

我是初学者。 我想从网页读取两个输入(可能来自下拉菜单)并将它们用作变量来执行 python 程序,然后 return 结果到数据库并在网页上显示.我正在使用 mySQL 进行数据库管理。

如果您想浏览任何其他网站并从他们的网站获取详细信息。 有两种情况


  1. 一旦网页被加载,网页上的数据就不会改变,在这种情况下,您在浏览器中查看页面源代码中看到的与您在网页中看到的一样,那么您可以发送一个获取请求来获取使用 urllib2. once you get the data from the web site you can parse the data using beautifulSoup 来自网页 url 的数据。这适用于静态网页,一旦您解析了网页,您就可以从中获取数据,并且可以使用 Mysql 插入语句
  2. 将其添加到数据库中
  3. 如果数据是动态的,即网页加载后页面内容会发生变化,那么您可以使用其中一种 Selenium or Python requests 还有许多其他可用的工具,您可以获得所需的数据并将其插入数据库

因此,要从元素中获取值,您必须这样做:

from selenium import webdriver
from selenium import selenium
browser = webdriver.Firefox()
browser.get("yourwebpage")
item=browser.find_element_by_xpath("xpath of your element")
value=item.text

您可以使用 also:tag_name、大小、位置、id 属性等代替文本

数据库之后:

import pypyodbc
connection = pypyodbc.connect('Driver={SQL Server};'
                                    'Server=yorserver;'
                                    'Database=yourdb;'
                                    'uid=youruser;pwd=yourpassword')
cursor = connection.cursor() 
cursor.execute("your_query_to_update_the_db_fields")
self.connection.commit()
connection.close()

抱歉,如果不是很清楚,但您没有给我很多细节,所以我只发送了一个通用代码