如何找到整个在线打开目录的大小?

How can I find the size of an entire online open directory?

我想知道在线打开目录的总大小。我该怎么做?

一个示例用例可能是找出存储库镜像的大小。

如何找到打开目录的总大小,例如: http://old-releases.ubuntu.com/, or http://download.kiwix.org/, or http://apollo.sese.asu.edu/data/?

这是一种相当快速和简单的在线查找任何打开目录大小的方法。

TL;DR

安装 rclone 并将 URL 替换为任何你想要的。

安装 Rclone(二进制文件可用 here

curl https://rclone.org/install.sh | sudo bash

获取目录大小(将URL替换为任何打开的目录,确保不要删除:http:

rclone size --http-url http://old-releases.ubuntu.com/ :http:

说明

使用 rclone + http with optional mount 即可。

这使您可以自由地使用各种方法检查尺寸。 rclone size http: 要么 rclone mount http: directory/ 然后 cd directory/du -shdu -hd1ncdu (from here) 或(不推荐)ls -shR

善良

您可能希望通过调整值和可选的 adding/removing --fast-list 来避免重击服务器,在此命令中:

rclone size http: -v --tpslimit 5 --bwlimit 500K --checkers 5 --fast-list

根据您的需要以及您认为服务器可以处理的内容向上或向下调整。例如,在短短几分钟内,我就能够在我认为可以正常使用的服务器上使用 rclone size,并返回这些结果。

例子

$ rclone size --http-url http://apollo.sese.asu.edu/data/ :http: --checkers 100

Total objects: 195669
Total size: 123.619 TBytes (135920738673216 Bytes)

$ rclone size --http-url http://download.kiwix.org :http: --checkers 100
Total objects: 24624
Total size: 5.711 TBytes (6279328743124 Bytes)