如何从带宽更大的ENA下载数据文件?

How to download data files from ENA with greater bandwidth?

您好,我正在尝试使用以下循环命令从 ENA ftp 服务器下载大约 4000 个 Fastq 文件:

while read i; do n=$(echo "$i" | sed -E 's/(SRR...).*//'); wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/$n/$i/$i*; done  < IDS.txt 

但是我有 20 mb 的下载带宽,但是当我下载时,下载速度仅在 100–350 kbs 之间,因此,下载数据需要很长时间。有人知道 aspera 吗?或者任何其他人可以帮助或推荐的东西?

您看到带宽使用率低于总可用带宽的可能原因有两个:

  1. 您的 ISP 在每个连接的基础上限制您的带宽。也就是说,每个 HTTP(S) 连接都限制了带宽。在这种情况下,使用多线程/进程会非常有用。为此,我建议使用 GNU Wget2。 Wget2 是 Wget 的下一个版本,它是用多线程支持编写的。它仍处于 alpha 阶段,但我们认为它已经为 public 使用做好了准备。
  2. 服务器带宽受限。如果服务器正在限制总带宽,您将无法提高速度。

完全披露:我是 GNU Wget 和 GNU Wget2 的维护者。