HDFS 或 HBase 中是否有最大存储 space 配置?
Is there a maximum storage space configuration in HDFS or HBase?
HDFS 或 HBase 中是否有最大存储 space 配置?
我找到了
dfs.data.dir: "DataNode 的本地文件系统上应该存储其块的路径的逗号分隔列表" 和
dfs.datanode.du.reserved: 但它用于非 DFS space 保留用于 HDFS
对于 HBase,我发现了一些堆大小配置和压缩间隔,Memstore Flush Size,但其中 none 似乎调节了单个节点的最大大小。
是否有针对 HBase 或 HDFS 的任何配置来调节它们将在单个节点中占用多少space?
(我是运行单机测试)
一般来说,dfs.data.dir
将是一个格式化的卷,专门 用于 HDFS 数据。因此,“最大”是数据节点主板上物理 NVME 连接器的数量 SATA/USB/M.2 乘以你能找到的最大硬盘驱动器的大小。
如果不使用专用 volumes/devices,最大值仍受磁盘大小限制,但 dfs.datanode.du.reserved
将为 OS 留下 space 到 运行 自己。
两者都与内存使用/堆无关space
HDFS 或 HBase 中是否有最大存储 space 配置?
我找到了
dfs.data.dir: "DataNode 的本地文件系统上应该存储其块的路径的逗号分隔列表" 和
dfs.datanode.du.reserved: 但它用于非 DFS space 保留用于 HDFS
对于 HBase,我发现了一些堆大小配置和压缩间隔,Memstore Flush Size,但其中 none 似乎调节了单个节点的最大大小。
是否有针对 HBase 或 HDFS 的任何配置来调节它们将在单个节点中占用多少space?
(我是运行单机测试)
一般来说,dfs.data.dir
将是一个格式化的卷,专门 用于 HDFS 数据。因此,“最大”是数据节点主板上物理 NVME 连接器的数量 SATA/USB/M.2 乘以你能找到的最大硬盘驱动器的大小。
如果不使用专用 volumes/devices,最大值仍受磁盘大小限制,但 dfs.datanode.du.reserved
将为 OS 留下 space 到 运行 自己。
两者都与内存使用/堆无关space