Python 2.7：未知 url 类型：urllib2 - BeautifulSoup

Question

导入库

import urllib2
from bs4 import BeautifulSoup

新图书馆：

import csv
import requests 
import string

定义变量：

i = 1
str_i = str(i)
seqPrefix = 'seq_'
seq_1 = str('https://anyaddress.com/')
quote_page = seqPrefix + str_i

#然后，利用Python urllib2获取url声明的HTML页面

# query the website and return the html to the variable 'page'
page = urllib2.urlopen(quote_page)  


#Finally, parse the page into BeautifulSoup format so we can use BeautifulSoup to work on it.

# parse the html using beautiful soup and store in variable `soup`
soup = BeautifulSoup(page, 'html.parser')

因此，一切都很好...除了：

错误信息：

页面 = urllib2.urlopen(quote_page) 文件 "C:\Python27\lib\urllib2.py"，第 154 行，在 url 打开 return opener.open(url, 数据, 超时) 文件 "C:\Python27\lib\urllib2.py"，第 423 行，处于打开状态协议 = req.get_type() 文件 "C:\Python27\lib\urllib2.py"，第 285 行，在 get_type 中引发 ValueError，"unknown url type: %s" % self.__original ValueError：未知 url 类型：seq_1

为什么？

发送。

Answer 1

可以使用局部变量字典 vars()

page = urllib2.urlopen(vars()[quote_page])

你的方式是尝试使用字符串 "seq_1" 打开 URL 作为 URL 而不是 seq_1 变量的值，它是一个有效 URL.

Answer 2

看来您需要连接 seq_1 & str_i

例如：

seq_1 = str('https://anyaddress.com/')
quote_page = seq_1 + str_i

输出：

https://anyaddress.com/1

Python 2.7：未知 url 类型：urllib2 - BeautifulSoup

Python 2.7 : unknown url type: urllib2 - BeautifulSoup

string

url

urllib2

beautifulsoup

python-2.7

导入库

新图书馆：