HBase wal越来越大

Question

HBase 越来越大了。详情如下：

3.2 K    9.6 K    /hbase/.hbase-snapshot
0        0        /hbase/.hbck
0        0        /hbase/.tmp
0        0        /hbase/MasterProcWALs
534.2 G  1.6 T    /hbase/WALs
400.3 M  1.2 G    /hbase/archive
0        0        /hbase/corrupt
267.0 G  796.5 G  /hbase/data
42       126      /hbase/hbase.id
7        21       /hbase/hbase.version
0        0        /hbase/mobdir
1.7 M    5.1 M    /hbase/oldWALs
0        0        /hbase/staging

HBase 版本 2.1.0。我设置了以下参数：

hbase.master.logcleaner.ttl 60s
hbase.wal.regiongrouping.numgroups 2
hbase.regionserver.maxlogs 32

我算了一下，我的实际数据大小等于/hbase/data文件目录的大小。我测试删除比较长的日志数据，但是程序会报异常

我的资料主要是凤凰写的。这有什么原因吗？

Answer 1

在 RegionServer 日志中，我发现了以下内容：
2020-11-07 00:36:45,750 INFO org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL: Too many WALs; count=385, max=32; forcing flush of 10 regions(s): 12bcc8a5c4d5087f7c8607cc943250fc, 94fa37159fb219dd510d20eba243e5a3, b4c2ad111677e61758ada3af4c1e9dbb, d6c6928e0a400ce53c9d8ee614dc552c, d224956d3d3f6f7657d0e9c9c4c544cc, 02bda653c9a66d85b064c4070f3f9e9e, 9297d8fbbd3b535ac0807e3665517752, 5ffdd4261cb294a1922fdac8fbfeef2f, 27c13a71b1d90dc7640f7df2dfd2093b, 159931a1de7fab4a04cdc3bd967d77bc

啊....
https://issues.apache.org/jira/browse/PHOENIX-5250

HBase wal越来越大

HBase wal getting bigger and bigger

hadoop

hbase