运行 EC2 上的大数据集，担心存储

Question

我正在运行通过 EC2 进行一些序列分析。我希望我的输出文件超过 2 Tb。在我运行我的命令之前，我想确保我有足够的 room.I 将我的实例类型更改为一种用于数据处理 d2.4xlarge。

我的问题：如果我运行宁我的命令，并且输出文件超过xvda的存储容量，它会自动切换到xvdf吗？？

希望此信息对您有所帮助：

lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0   18M  1 loop /snap/amazon-ssm-agent/
loop1     7:1    0 93.9M  1 loop /snap/core/9066
loop2     7:2    0   91M  1 loop /snap/core/6350
loop3     7:3    0   18M  1 loop /snap/amazon-ssm-agent/
xvda    202:0    0  4.9T  0 disk 
└─xvda1 202:1    0    2T  0 part /
xvdf    202:80   0  1.8T  0 disk 
xvdg    202:96   0  1.8T  0 disk 
xvdh    202:112  0  1.8T  0 disk 
xvdi    202:128  0  1.8T  0 disk 
xvdj    202:144  0  1.8T  0 disk 
xvdk    202:160  0  1.8T  0 disk 
xvdl    202:176  0  1.8T  0 disk 
xvdm    202:192  0  1.8T  0 disk

您会看到 xvda1 与 xvda 不匹配，这是因为使用 EBS 时，最大存储量为 2tb（我需要更改其卷大小）

df
Filesystem      1K-blocks     Used  Available Use% Mounted on
udev             62832116        0   62832116   0% /dev
tmpfs            12570936      824   12570112   1% /run
/dev/xvda1     2081729452 45739112 2035973956   3% /
tmpfs            62854676        0   62854676   0% /dev/shm
tmpfs                5120        0       5120   0% /run/lock
tmpfs            62854676        0   62854676   0% /sys/fs/cgroup
/dev/loop0          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop1          96256    96256          0 100% /snap/core/
/dev/loop3          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop2          93184    93184          0 100% /snap/core/
tmpfs            12570932        0   12570932   0% /run/user/

谢谢!!!!!

Answer 1

"If I am running my command, and the output file exceeds the storage capacity of xvda, will it automatically switch to xvdf"

没有。您需要挂载 xvdf （您似乎还没有这样做），这将在您的文件系统中为其提供一个路径，然后您将需要配置您的应用程序以切换到该挂载位置第一个位置用完 space.

"that is because with EBS the max storage is 2tb"

AWS EBS 的官方功能列表here，声明最大卷大小为 16TB。

如果您需要文件系统中的单个卷超过 16TB，您可以考虑将 EBS 卷组合到 RAID 0 阵列中，如文档所述here。

运行 EC2 上的大数据集，担心存储

Running large data set on EC2, worried about storage

linux

ubuntu

storage

large-data-volumes

amazon-ami