为什么一个数据文件夹大小将近 70 GB？

Question

我在 k8s 上安装了 elasticsearch，其中 fluentd 每天将数据与日志放在一起，索引的平均大小约为 1GB，我昨天手动删除了超过一周的索引（我没有任何删除策略），因为存储是接近最大（我每个节点有100GB的存储）但是，由于某种原因，一个文件夹仍然接近70GB，你知道为什么吗？

[elasticsearch@elasticsearch-master-1 indices]$ c^C
[elasticsearch@elasticsearch-master-1 indices]$ du -hs * | sort -hh
48K     7GFwGZHoQ4uM8KCpLc-Oxg
48K     W0A74hl-Qw-2dIpx65hXFA
60K     BNKGjyyZRheQOKpF4jPRmw
64K     2oGMlHa9TOC5IAtG4E8N2A
64K     5SidHjfxS-yvghDJL2y7Ug
64K     NpCZAg2_R0SItwTY4n7cKA
88K     leZHbZpEQW6A6xWCgVZTJQ
116K    lA7py6UYQpS6kMBAcD-ShQ
216K    pXqc9yQYSfCnSyi8Zf3qCA
432K    J0zWpVVoQr6AUZwzMDObtA
5.3M    gJ-_TDd9Q4KZAqjrSnz3RA
41M     sMjw45GHSgah5a0c7PH1oA
378M    nR-A9ZnxQdGhnNP0Snadhg
451M    bCEnvyh4RuKHMD2H0EbS_w
476M    4EhSvr21QROhgVjY8yExIg
502M    p7o2nSSjQiyFDQr4S5XECQ
504M    U98Y4gbqS5mBnQeu-uXZyg
530M    ciE5Uy6wQ1272mECz0VBgg
553M    qydbdCS4SpuI9ISA-LRisg
67G     hJZCqt9OQ8yRsRBlLCiPYg
[elasticsearch@elasticsearch-master-1 indices]$ pwd
/usr/share/elasticsearch/data/nodes/0/indices
[elasticsearch@elasticsearch-master-1 indices]$ ```

Answer 1

检查您发布的统计数据后，cuplrit 似乎是 fluentd-2021-11-17 索引。

{
    "fluentd-2021-11-17": {
        "uuid": "hJZCqt9OQ8yRsRBlLCiPYg",
        "primaries": {
            "store": {
                "size": "66.5gb",
                "size_in_bytes": 71466871581,
                "total_data_set_size": "66.5gb",
                "total_data_set_size_in_bytes": 71466871581,
                "reserved": "0b",
                "reserved_in_bytes": 0
            }
        },
        "total": {
            "store": {
                "size": "133.2gb",
                "size_in_bytes": 143041475223,
                "total_data_set_size": "133.2gb",
                "total_data_set_size_in_bytes": 143041475223,
                "reserved": "0b",
                "reserved_in_bytes": 0
            }
        }
    }
}

您今天肯定遇到了一个事件，它创建的日志比平时多得多。

为什么一个数据文件夹大小将近 70 GB？

Why one data folder is almost 70 GB size?

elasticsearch

elastic-stack