Logstash 未从 MySQL 中读取新条目

Question

我在 Windows 7 机器上本地安装了 Logstash 和 Elasticsearch。我在 Logstash 中安装了 logstash-input-jdbc。

我在 MySql 数据库中有数据，我使用 Logstash 发送到 Elasticsearch，这样我就可以生成一些报告。

执行此操作的 Logstash 配置文件。

input {
 jdbc {
   jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
   jdbc_driver_class => "com.mysql.jdbc.Driver"
   jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
   jdbc_user => "root"
   jdbc_password => ""
   statement => "SELECT * FROM transport.audit"
   jdbc_paging_enabled => "true"
   jdbc_page_size => "50000"
}
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "transport-audit-%{+YYYY.mm.dd}"
}
}

当我运行 :

时，Logstash 将数据发送到 Elasticsearch

bin\logstash agent -f \logstash\conf_input.conf

这是该命令的响应

io/console not supported; tty will not be manipulated
Default settings used: Filter workers: 4
Logstash startup completed
Logstash shutdown completed

为什么，Logstash 是否关闭？

当我检查 Elasticsearch 时，数据就在那里，如果我再次运行命令，数据会重新索引（重复）。

这里是 Mysql 数据：

我想做什么（实现）：

我希望 Logstash 运行并在审计 table 上侦听新条目，并且仅索引该数据（当将新审计条目输入 table 时，Logstash 会知道并且将该条目发送到 Elasticsearch。

还有为什么当我运行那个命令时 Logstash 停止，它不应该是运行ning 吗？我是 Logstash 和 Elasticsearch 的新手。

谢谢

G

我也在 post 中 Elastic forum 编辑了同样的问题，如果我得到答案，我会 post 在这里帮助其他人。

Answer 1

默认情况下，logstash-input-jdbc 插件将运行您的 SELECT 语句一次，然后退出。您可以通过在配置中添加带有 cron 表达式的 schedule parameter 来更改此行为，如下所示：

input {
 jdbc {
   jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
   jdbc_driver_class => "com.mysql.jdbc.Driver"
   jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
   jdbc_user => "root"
   jdbc_password => ""
   statement => "SELECT * FROM transport.audit"
   schedule => "* * * * *"               <----- add this line
   jdbc_paging_enabled => "true"
   jdbc_page_size => "50000"
 }
}

结果是 SELECT 语句现在每分钟运行。

如果您的 MySQL table 中有一个日期字段（但似乎并非如此），您也可以使用预定义的 sql_last_start 参数来排序不重新索引每个运行上的所有记录。该参数可以在您的查询中使用，如下所示：

   statement => "SELECT * FROM transport.audit WHERE your_date_field >= :sql_last_start"

Logstash 未从 MySQL 中读取新条目

Logstash not reading in new entries from MySQL

mysql

jdbc

elasticsearch

logstash

logstash-configuration