Solr/Lucene 最好的文件系统
Solr / Lucene best file system
我已经使用 Solr 和 Redhat 7.3 完成了一些日志索引基准测试。
该机器包括 2 个 7200 RPM 软件 RAID 1、64GB 内存和一个 E3-1240v6 CPU.
我真的很惊讶地发现 ext4 和 xfs 之间的 IO 性能存在巨大差异(请参阅下面的详细信息)。
与 ext4 相比,使用 xfs 建立索引提供了 20% 以上的索引吞吐量(io 等待是 xfs 的第十)。
我正在寻找与为 Solr 机器选择合适的文件系统相关的一些见解。
ext4:
avg-cpu: %user %nice %system %iowait %steal %idle
3.09 62.43 1.84 14.51 0.00 18.12
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.02 169.38 13.95 182.97 0.36 26.28 277.04 40.91 207.66 18.96 222.05 3.82 75.18
sda 0.04 169.34 20.55 183.01 0.61 26.28 270.51 47.18 231.71 27.84 254.60 3.76 76.51
xfs:
avg-cpu: %user %nice %system %iowait %steal %idle
3.18 81.72 2.19 1.48 0.00 11.42
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 17.51 0.00 123.70 0.00 29.13 482.35 34.03 274.97 56.12 274.97 5.39 66.63
sdb 0.00 17.53 0.09 123.69 0.00 29.13 482.05 34.84 281.29 25.58 281.48 5.29 65.52
因为您自己完成了测试(希望与您的预期生产用途相似),所以没有其他人对 FS 有更好的建议。当然,如果你能把旋转磁盘换成SSD,那就更好了,特别是索引吞吐量。
我已经使用 Solr 和 Redhat 7.3 完成了一些日志索引基准测试。
该机器包括 2 个 7200 RPM 软件 RAID 1、64GB 内存和一个 E3-1240v6 CPU.
我真的很惊讶地发现 ext4 和 xfs 之间的 IO 性能存在巨大差异(请参阅下面的详细信息)。
与 ext4 相比,使用 xfs 建立索引提供了 20% 以上的索引吞吐量(io 等待是 xfs 的第十)。
我正在寻找与为 Solr 机器选择合适的文件系统相关的一些见解。
ext4:
avg-cpu: %user %nice %system %iowait %steal %idle
3.09 62.43 1.84 14.51 0.00 18.12
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.02 169.38 13.95 182.97 0.36 26.28 277.04 40.91 207.66 18.96 222.05 3.82 75.18
sda 0.04 169.34 20.55 183.01 0.61 26.28 270.51 47.18 231.71 27.84 254.60 3.76 76.51
xfs:
avg-cpu: %user %nice %system %iowait %steal %idle
3.18 81.72 2.19 1.48 0.00 11.42
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 17.51 0.00 123.70 0.00 29.13 482.35 34.03 274.97 56.12 274.97 5.39 66.63
sdb 0.00 17.53 0.09 123.69 0.00 29.13 482.05 34.84 281.29 25.58 281.48 5.29 65.52
因为您自己完成了测试(希望与您的预期生产用途相似),所以没有其他人对 FS 有更好的建议。当然,如果你能把旋转磁盘换成SSD,那就更好了,特别是索引吞吐量。