Common Crawl AWS public 数据集传输成本

Common Crawl AWS public dataset transfer cost

我实际上正在处理 Common Crawl 数据集,我想知道将数据从原始 S3 存储桶传输到我的 EC2 集群的成本?是收费还是完全免费?

在同一 AWS 区域内,将数据从 S3 传输到 EC2 是免费的。存储桶所有者支付传输费用,而 EC2 所有者将为从 S3 下载到不同区域的 EC2 的上游流量(基本上只是初始请求和 TCP ACK)支付可忽略不计的跨区域数据费用。

aws-publicdatasets 存储桶位于 us-east-1 区域。

请注意,您还可以使用 billing alerts 监控您的预估费用并避免意外。