适用于 Cloud Storage 或 HDFS 的 I/O 差异是多少?

What is I/O variance applying to Cloud Storage or HDFS?

根据 Google 云文档,

Cloud Storage may increase I/O variance. In many situations, Cloud Storage has a higher I/O variance than HDFS. This can be problematic if you have consistent I/O requirements, such as an application backed by HBase or another NoSQL database.

有人可以提供方差的例子吗?这是什么意思?

这意味着访问率变化很大,或者在阈值内不一致。

与专用文件系统相比,任何云对象存储都有更高的差异,因为它们是多租户的

一般来说,评论是说您不会将 GCS 用作数据库(特别是 HBase、Kudu 和其他 Hadoop 数据库)的后端,因为它会给这些常见的低延迟系统带来延迟,甚至虽然GCS可以作为后备HDFS存储层

您可以将 I/O 转换为读取(输入)和写入(输出) 当读取或写入速率在一个狭窄的范围内时,您可以轻松地决定从网络带宽到 RAM 和 CPU.

的资源规划

随着 I/O 方差的增加,您的读写速率范围更广,部署优化的基础架构变得更加困难。

正如@OneCricketeer 所提到的,云存储中较高的差异可能是多租户和部署大量服务的结果。

缓解此问题的一种方法是将服务划分为多个 I/O 差异范围(即:数据库、对象存储、文件存储等)。