我在分区 table 中的符号列文件大小异常大——为什么会这样？

Question

我刚刚构建了我的第一个适当的 q/kdb+ 数据库，其中包含展开表和分区表。一切正常，但我只是注意到我的符号 s 列文件大小异常大。这是我从 OS 和内部 q:

可以看到的

# ls -latr 2017.10.30/ngbarx
total 532
-rw-r--r-- 1 root root  24992 Apr 17 20:53 vunadj
-rw-r--r-- 1 root root  24992 Apr 17 20:53 v
-rw-r--r-- 1 root root 300664 Apr 17 20:53 s
...

q)meta ngbarx
c     | t f a
------| -----
date  | d    
s     | s   p
v     | e    
vunadj| e    
...

q)get `:2017.10.30/ngbarx/s
`p#`sym$`A`AA`AACG`AADI`AADR`AAIC`AAIC-B`AAL`AAM-A`AAMC`AAME`AAOI`AAON`AAP`AA..

q)-22!get `:2017.10.30/ngbarx/v
24990
q)-22!get `:2017.10.30/ngbarx/s
28678
q)all (get `:2017.10.30/ngbarx/s) in sym
1b
q)count sym
62136

所以比较实型 v 列和符号类型 s 列，我从 ls 看到符号列的大小超过 10 倍，即使内部大小在字节是相似的，所有内容似乎都在 sym 文件中正确编码。

这是预期的行为吗？还是我做错了什么可以修复？

更新：我没用过压缩，用神奇的功能写的文件.Q.dcfgnt，可以查看。嗯，一个稍微修改过的版本，我注意到这个函数也在目录中保存了一个 date 文件，即使该列应该是虚拟的，所以我在 k 中做了一些修改（我是不太擅长）并将内部函数 .Q.dpfgnt 更新为此 ...

k){[d;p;f;g;n;t]if[~&/qm'r:+en[d]t;'`unmappable];
 {[d;g;t;i;x]@[d;x;g;t[x]i]}[d:par[d;p;n];g;r;<r f]'{x@&~x=`date}(!r);
 @[;f;`p#]@[d;`.d;:;f,r@&~f=r:{x@&~x=`date}(!r)];n}

Answer 1

应用 parted 属性不是免费的，需要存储空间。它通常不是那么昂贵，但查看 s 的样本输出，它看起来不适合分离，因为不包含重复值：

q)get `:2017.10.30/ngbarx/s
`p#`sym$`A`AA`AACG`AADI`AADR`AAIC`AAIC-B`AAL`AAM-A`AAMC`AAME`AAOI`AAON`AAP`AA..

请参阅下表以说明该问题：

/ no part - 16 distinct syms
t1:([]s:100000?`1;v:100000?2e)

/ part - 16 distinct syms
t2:update `p#s from `s xasc ([]s:100000?`1;v:100000?2e)

/ no part - 99999 distinct syms
t3:([]s:100000?`8;v:100000?2e)

/ part - 99999 distinct syms
t4:update `p#s from `s xasc ([]s:100000?`8;v:100000?2e)

具有 parted 属性(804096 -> 804664) 的 t1 和 t2 之间的大小差异微不足道。但是，当distinct syms / parts的数量变得非常多时，存储成本非常大。 (804096 -> 4749872)

ls | xargs ls -latr
t1:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804096 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t2:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804664 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t3:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804096 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t4:
total 5032
-rw-r--r-- 1 matmoore matmoore      12 Apr 19 10:28 .d
drwxr-xr-x 1 matmoore matmoore    4096 Apr 19 10:28 ..
-rw-r--r-- 1 matmoore matmoore 4749872 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore  400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore    4096 Apr 19 10:28 .

我也想问这个栏目是否应该是一个符号。如果 62k 是你的 sym 文件的大小，只有一个创建日期，那么你应该小心你最终会创建一个臃肿的 sym 文件。如果您拥有 2017.10.30 的完整历史记录并且 sym 文件仍然是 62k，那很好，但是如果您每天添加那么多新符号，sym 文件将很快失控。

我在分区 table 中的符号列文件大小异常大——为什么会这样？

My symbol column file size in partitioned table is unusually large -- why would that be?

kdb

database-partitioning