在 Kibana 中，我有包含问号 `?` 的字段未显示在公制字段中

Question

在 Kibana 中，我有包含问号 ? 的字段。目标是创建一个过滤器，排除字段中包含问号的所有条目。因此，当我尝试在 Term 聚合下创建指标时，? 标记中的那些字段在那里不可见，请帮助新手理解 ..

下面是 logstash.conf 我正在使用的过滤器以及我附上的屏幕截图，请指出我在做什么错误以及可以做什么..

我有 ELK 版本：6.2.x

# cat logstash-syslog.conf
input {
  file {
    path => [ "/scratch/rsyslog/*/messages.log" ]
    type => "syslog"
  }
  file {
    path => [ "/scratch/rsyslog/Aug/messages.log" ]
    type => "apic_logs"
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp } %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
 }
}
  if [type] == "apic_logs" {
    grok {
      match => { "message" => "%{CISCOTIMESTAMP:syslog_timestamp} %{CISCOTIMESTAMP} %{SYSLOGHOST:syslog_hostname} (?<prog>[\w._/%-]+) %{SYSLOG5424SD:f1}%{SYSLOG5424SD:f2}%{SYSLOG5424SD:f3}%{SYSLOG5424SD:f4}%{SYSLOG5424SD:f5} %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      remove_field => ["@version", "host", "message", "_type", "_index", "_score", "path"]
   }
 }
}
output {
        if [type] == "syslog" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "syslog-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

output {
        if [type] == "apic_logs" {
        elasticsearch {
                hosts => "noida-elk:9200"
                manage_template => false
                index => "apic_logs-%{+YYYY.MM.dd}"
                document_type => "messages"
  }
 }
}

Answer 1

我解决了我的问题！

为什么我会看到符号？通过 Kibana 发现页面中的字段当您在 Kibana 中打开 Discover 页面时，您可能会看到一个问号 ?按可用字段部分中列出的字段而不是字符 t。重新加载字段列表时，会分析字段类型，问号 ?被字符 t 替换。

请务必选中下面屏幕截图中最右侧的框 include system indices。

重新排列 table 中的字段列您可以重新排列 table 中的字段列。将鼠标悬停在要移动的列的 header 上，然后单击“向左移动列”按钮或“向右移动列”按钮。

正在重新加载字段列表完成以下步骤以重新加载显示在 Kibana 中的字段列表：

Select 管理页面，然后 select 索引模式列出可用的索引。

Select space 的索引模式，用于查看 Elasticsearch 记录的每个字段和字段的关联核心类型。

单击重新加载字段列表按钮重新加载字段列表以重新加载索引模式字段。

字段列表已刷新。

Answer 2

如果您使用的是 kibana ，请确保在重新创建索引后刷新它，特别是在向其添加新字段时。此刷新可在 Kibana 的管理部分针对每个索引模式进行。

“？” - 表示可用的列，但在您进行刷新之前不是弹性索引的一部分。

在 Kibana 中，我有包含问号 `?` 的字段未显示在公制字段中

In Kibana, I have fields that contains a question mark `?` not showing in metric field

logstash

elastic-stack

kibana-6