logstash 模板不支持分片数量增加
logstash template not honored for shard number increase
我有一个 logstash 模板,我在其中请求 3 个分片索引。
它加载得很好我可以用_template检索它api但是当我在集群上列出分片时它似乎不被尊重。
我仍然只有 1 个主分片和 1 个副本分片。
我尝试了很多东西(顺序 0、顺序 2、删除现有索引等)。无法为该索引获取 3 个分片。
我在索引 "logstash-*" 上有另一个模板,其顺序 0 似乎是默认的。 (我的名字是 "logstash-syslog-%{+YYYY.MM.dd}",订单是 2)
你能帮忙吗?也许我遗漏了文档中的某些内容
_cat/templates?v&s=name
的输出
(END)name index_patterns order version
.watches [.watches*] 2147483647
.ml-config [.ml-config] 0 7040199
.ml-state [.ml-state*] 0 7040199
.ml-notifications [.ml-notifications] 0 7040199
.data-frame-internal-2 [.data-frame-internal-2] 0 7040199
.monitoring-logstash [.monitoring-logstash-7-*] 0 7000199
.management-beats [.management-beats] 0 70000
.slm-history [.slm-history-1*] 2147483647
.monitoring-es [.monitoring-es-7-*] 0 7000199
.ml-anomalies- [.ml-anomalies-*] 0 7040199
.data-frame-notifications-1 [.data-frame-notifications-*] 0 7040199
.ml-meta [.ml-meta] 0 7040199
.triggered_watches [.triggered_watches*] 2147483647
.logstash-management [.logstash] 0
logstash [logstash-*] 0 60001
syslog_template [logstash-syslog-%{+YYYY.MM.dd}] 1 7040199
.monitoring-beats [.monitoring-beats-7-*] 0 7000199
.watch-history-10 [.watcher-history-10*] 2147483647
.monitoring-alerts-7 [.monitoring-alerts-7] 0 7000199
.monitoring-kibana [.monitoring-kibana-7-*] 0 7000199
我的模板索引设置:
cat /etc/logstash/templates/syslog_template.json
{
"index_patterns" : "logstash-syslog-%{+YYYY.MM.dd}",
"order" : 1,
"version" : 7040199,
"settings" : {
"index.refresh_interval" : "5s",
"number_of_shards": 2
},
curl -X GET "localhost:9200/_cat/shards"
的输出
.kibana_1 0 r STARTED 2 8.7kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_1 0 p STARTED 2 11.2kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
.kibana_task_manager_1 0 r STARTED 2 12.5kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_task_manager_1 0 p STARTED 2 6.7kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-nats-2019.10.28 0 r STARTED 0 283b 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-nats-2019.10.28 0 p STARTED 0 283b 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 r STARTED 32 23.9kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 p STARTED 32 23.9kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
您的 index_patterns
应该是 logstash-syslog-*
。 IE
"index_patterns" : "logstash-syslog-*"
如@leandrojmp 所述。
此外,您可以避免使用版本字段,因为它由 elasticsearch 在内部使用。
@leandrojmp - 你能否将你的评论作为答案,以便@Mickael Brandon 可以接受它。
我有一个 logstash 模板,我在其中请求 3 个分片索引。
它加载得很好我可以用_template检索它api但是当我在集群上列出分片时它似乎不被尊重。
我仍然只有 1 个主分片和 1 个副本分片。 我尝试了很多东西(顺序 0、顺序 2、删除现有索引等)。无法为该索引获取 3 个分片。
我在索引 "logstash-*" 上有另一个模板,其顺序 0 似乎是默认的。 (我的名字是 "logstash-syslog-%{+YYYY.MM.dd}",订单是 2)
你能帮忙吗?也许我遗漏了文档中的某些内容
_cat/templates?v&s=name
(END)name index_patterns order version
.watches [.watches*] 2147483647
.ml-config [.ml-config] 0 7040199
.ml-state [.ml-state*] 0 7040199
.ml-notifications [.ml-notifications] 0 7040199
.data-frame-internal-2 [.data-frame-internal-2] 0 7040199
.monitoring-logstash [.monitoring-logstash-7-*] 0 7000199
.management-beats [.management-beats] 0 70000
.slm-history [.slm-history-1*] 2147483647
.monitoring-es [.monitoring-es-7-*] 0 7000199
.ml-anomalies- [.ml-anomalies-*] 0 7040199
.data-frame-notifications-1 [.data-frame-notifications-*] 0 7040199
.ml-meta [.ml-meta] 0 7040199
.triggered_watches [.triggered_watches*] 2147483647
.logstash-management [.logstash] 0
logstash [logstash-*] 0 60001
syslog_template [logstash-syslog-%{+YYYY.MM.dd}] 1 7040199
.monitoring-beats [.monitoring-beats-7-*] 0 7000199
.watch-history-10 [.watcher-history-10*] 2147483647
.monitoring-alerts-7 [.monitoring-alerts-7] 0 7000199
.monitoring-kibana [.monitoring-kibana-7-*] 0 7000199
我的模板索引设置:
cat /etc/logstash/templates/syslog_template.json
{
"index_patterns" : "logstash-syslog-%{+YYYY.MM.dd}",
"order" : 1,
"version" : 7040199,
"settings" : {
"index.refresh_interval" : "5s",
"number_of_shards": 2
},
curl -X GET "localhost:9200/_cat/shards"
.kibana_1 0 r STARTED 2 8.7kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_1 0 p STARTED 2 11.2kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
.kibana_task_manager_1 0 r STARTED 2 12.5kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
.kibana_task_manager_1 0 p STARTED 2 6.7kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-nats-2019.10.28 0 r STARTED 0 283b 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-nats-2019.10.28 0 p STARTED 0 283b 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 r STARTED 32 23.9kb 10.33.109.211 gm2-elk-02.preprod.exo.plop.com
logstash-syslog-2019.10.28 0 p STARTED 32 23.9kb 10.33.109.210 gm2-elk-01.preprod.exo.plop.com
您的 index_patterns
应该是 logstash-syslog-*
。 IE
"index_patterns" : "logstash-syslog-*"
如@leandrojmp 所述。
此外,您可以避免使用版本字段,因为它由 elasticsearch 在内部使用。
@leandrojmp - 你能否将你的评论作为答案,以便@Mickael Brandon 可以接受它。