urllib urlretrieve 仅将最终图像保存在 url 列表中

Question

我刚开始使用 Python。我一直在尝试设置一个非常基本的网络抓取工具来帮助加快我的工作速度，它应该从网站的某个部分下载图像并保存它们。

我有一个 url 的列表，我正在尝试使用 urllib.request.urlretrieve 下载所有图像。

输出位置 (savepath) 更新，因此它将文件夹中的当前最大数字加 1。

我尝试了很多不同的方法，但 urlretrieve 只保存了列表中最后一个 url 的图像。有没有办法下载url列表中的所有图片？

to_download=['url1','url2','url3','url4']

for t in to_download:
    urllib.request.urlretrieve(t, savepath)

这是我每次尝试用来更新savepath的代码

def getNextFilePath(photos):
highest_num = 0
for f in os.listdir(photos):
    if os.path.isfile(os.path.join(photos, f)):
        file_name = os.path.splitext(f)[0]
        try:
            file_num = int(file_name)
            if file_num > highest_num:
                highest_num = file_num
        except ValueError:
            'The file name "%s" is not an integer. Skipping' % file_name

output_file = os.path.join(output_folder, str(highest_num + 1))
return output_file

Answer 1

您要更新 savepath 吗？如果您将相同的 savepath 传递给每个循环迭代，它很可能只是一遍又一遍地覆盖同一个文件。

希望对您有所帮助，编码愉快！

Answer 2

根据 @vks 的建议，您需要更新保存路径（否则您会将每个 url 保存到同一个文件中）。一种方法是使用 enumerate:

from urllib import request

to_download=['https://edition.cnn.com/','https://edition.cnn.com/','https://edition.cnn.com/','https://edition.cnn.com/']

for i, url in enumerate(to_download):
    save_path = f'website_{i}.txt'
    print(save_path)
    request.urlretrieve(url, save_path)

您可能想签约：

from urllib import request

to_download=['https://edition.cnn.com/','https://edition.cnn.com/','https://edition.cnn.com/','https://edition.cnn.com/']

[request.urlretrieve(url, f'website_{i}.txt') for i, url in enumerate(to_download)]

参见：

Python3 文档：Python enumerate doc
枚举示例：enumerate example
f' 使用带有 {variable}' 的字符串的示例：

问题的第二部分：

不确定您要实现的目标但是：

def getNextFilePath(photos):
    file_list = os.listdir(photos)
    file_list = [int(s) for s in file_list if s.isdigit()]
    print(file_list)
    max_id_file = max(file_list)
    print(f'max id:{max_id_file}')
    output_file = os.path.join(output_folder, str(max_id_file + 1))
    print(f'output file path:{output_file}')
    return output_file

这将有望找到所有以数字 (ID) 命名的文件，并找到最高 ID，并 return 一个新文件名作为 max_id+1

我想这将取代您示例中的 save_path。

快速编码，并修改上述函数，使其 return 成为 max_id 而不是路径。下面的代码是一个使用迭代器的工作示例：

import os
from urllib import request
photo_folder = os.path.curdir


def getNextFilePath(photos):

    file_list = os.listdir(photos)
    print(file_list)
    file_list = [int(os.path.splitext(s)[0]) for s in file_list if os.path.splitext(s)[0].isdigit()]
    if not file_list:
        return 0
    print(file_list)
    max_id_file = max(file_list)
    #print(f'max id:{max_id_file}')
    #output_file = os.path.join(photo_folder, str(max_id_file + 1))
    #print(f'output file path:{output_file}')
    return max_id_file

def download_pic(to_download):
    start_id = getNextFilePath(photo_folder)


    for i, url in enumerate(to_download):
        save_path = f'{i+start_id}.png'
        output_file = os.path.join(photo_folder, save_path)
        print(output_file)
        request.urlretrieve(url, output_file)

您应该添加处理异常等，但如果我理解正确的话，这似乎有效。

urllib urlretrieve 仅将最终图像保存在 url 列表中

urllib urlretrieve only saving final image in list of urls

python

urllib

web-scraping

python-3.x

urlretrieve