使用 gsutil 从 CSV 下载所有行

Question

我正在尝试找出一种从单个存储桶下载多个文件的方法。 假设我有一个包含数百个文件的存储桶，我想下载其中的 65 个文件。

我显然可以转到控制台并单独下载我需要的每个文件，但这不是很有效。

另一种选择是使用

下载整个文件夹

gsutil -m cp -r gs://bucket/folder [destination folder]

然而，这将下载所有文件，这也不方便。

我能否以某种方式在 CSV 中包含我想要的所有文件名并让 gsutil 迭代该 CSV 文件？

Answer 1

您不能直接使用 CSV 文件，但可以将 URL 列表通过管道传输到 gsutil：

list_of_urls > gsutil -m cp -I ./download_dir

也许这就足够了。