LOGSTASH：如何设置 logstash 以获取所有查询的数据，而不仅仅是其中的一部分？

Question

我有一个包含 400 多条记录的数据库 table，但每次我使用 logstash 并且 JDBC 它只得到 126 条记录。我每次都用不同的索引尝试了很多次，但仍然只有126个检索。

这里是输出配置：

input {
    jdbc {
        -
        -
        jdbc_driver_class => "org.postgresql.Driver"
        statement => "SELECT * from xfailure"
    }
}
output {
elasticsearch {
   hosts => ["localhost:9200"]
   manage_template => false
   index => "test_predictions"
   document_id => "%{id}"
}
}

当我检查行数时，我发现它有 400+ 条记录这里是 select 语句：

SELECT * FROM xfailure;

这里是记录列的示例：

id|modified|x_url|x_id|correlation_id|links|code|description|explanation|tr_id

当我在Kibanna上创建索引时，我使用时间戳作为时间字段，但是点击次数只有162次！

Answer 1

我找到了一个解决方案，它指定了每个字段，因此通过更改 sql 查询：

SELECT * FROM xfailure;

至

SELECT field_1 as field_1, field_2 as field_2 FROM xfailure;

现在可以正常使用了。

LOGSTASH：如何设置 logstash 以获取所有查询的数据，而不仅仅是其中的一部分？

LOGSTASH: How to setup logstash to get all query's data not only a part of it?

postgresql

elasticsearch

logstash

logstash-configuration

logstash-jdbc