我如何 use/map 我的 Kibana 索引中的字段 'geoip.locations' 正在寻找类型 'geo_point'？

Question

我有一个日志，returns 一个名为 'ip' 的字段来自一个名为 'message' 的已解析 json 字段。

我已经这样设置了我的 logstash.conf 文件：

filter {
  json {
    source => "message"
  }
  geoip {
    source => "ip"
    target => "geoip"
    #add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
    #add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
  }
  #mutate {
  #  convert => [ "[geoip][coordinates]", "float"]
  #}
}

但是，我没有看到任何可以在我的索引模式中用来创建地图的东西。 Kibana 给我错误：

The "myindex*" index pattern does not contain any of the following field types: geo_point

我做错了什么？

编辑：/_mapping 上的卷曲结果

{
  "<my index>": {
    "mappings": {
      "%{[@metadata][type]}": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "host": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "message": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      },
      "tracking log": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "accept_language": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "agent": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "beat": {
            "properties": {
              "hostname": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "name": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "version": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              }
            }
          },
          "context": {
            "properties": {
              "course_id": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "course_user_tags": {
                "type": "object"
              },
              "org_id": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "path": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "user_id": {
                "type": "long"
              }
            }
          },
          "event": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "event_source": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "event_type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "geoip": {
            "properties": {
              "city_name": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "continent_code": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "coordinates": {
                "type": "float"
              },
              "country_code2": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "country_code3": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "country_name": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "dma_code": {
                "type": "long"
              },
              "ip": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "latitude": {
                "type": "float"
              },
              "location": {
                "type": "float"
              },
              "longitude": {
                "type": "float"
              },
              "postal_code": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "region_code": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "region_name": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "timezone": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              }
            }
          },
          "host": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "input_type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "ip": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "message": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "name": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "offset": {
            "type": "long"
          },
          "page": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "referer": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "session": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "source": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "tags": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "time": {
            "type": "date"
          },
          "type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "username": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

我使用这个命令来执行地图：

curl -XPOST -u elastic 'localhost:9200/_template/<my index>' -H 'Content-Type: application/json' -d'
{"order": 0, "template": "<my index>*","mappings": {"_default_": {"dynamic_templates": [{"location_fields": {"mapping": {"type": "geo_point"},"match": "geoip"}}]}}}
'

Answer 1

您不需要 add_field 行或 mutate/convert。您需要做的是将 geoip 字段正确映射为 elasticsearch 中的 geo_point。

通常您会使用索引模板执行此操作——这会将任何名为 geoip 的字段映射到 geo_point——不过您可以使用模板更具体。

POST /_template/myindex
{
  "order": 0,
  "template": "myindex*",
  "mappings": {
    "_default_": {
      "dynamic_templates": [
        {
          "location_fields": {
            "mapping": {
              "type": "geo_point"
            },
            "match": "location"
          }
        }
      ]
    }
  }
}

无论如何，您需要重新索引您的数据以获得正确的映射，然后告诉 kibana 重新加载您的索引映射（在设置下）。

Answer 2

好的 - 我在@Alcanzar 的帮助下解决了这个问题。显然，正如他所说，一旦数据被发送到它就不可能改变字段的类型——本质上，一旦你启动了 logstash 并开始使用它。

所以 -- 将 geoip.location 映射到类型 geo_point -- 这就是我所做的：

步骤：

1) 我停止了 logstash。

2) 使用“DELETE /”删除了我的索引

3) 在 Kibana 开发控制台中使用 'PUT /' 创建了一个我想要的名称的新索引。

4) 使用 'geoip.location' 而不是 'location'

应用上面贡献的映射@Alcanzar

5) 重新启动 logstash。

现在 geoip.location 的类型是 geo_point。

对于一些有经验的 ES 用户来说，这些步骤可能很明显，但对我来说不是。我希望这对其他人有帮助。

我如何 use/map 我的 Kibana 索引中的字段 'geoip.locations' 正在寻找类型 'geo_point'？

How can I use/map the field 'geoip.locations' in my index for Kibana which is looking for type 'geo_point'?

elasticsearch

logstash

kibana

filebeat