为什么 logstash 合并表？

Question

我有两个配置文件，每个配置文件都指向数据库的不同 table，但是在 elasticsearch 中，我将两个 table 合并，所以 tablea 和 tableb 项将全部复制为 typea，tablea 和 tableb 项将全部复制为 typeb。

但我将其配置为将 tablea 作为 typea，将 tableb 作为 typeb。

这是我的配置文件a

input {

    jdbc {
        jdbc_driver_library => "/usr/share/logstash/mysql-connector-java-5.1.42-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://db:3306/nombase"
        jdbc_user => "root"
        jdbc_password => "root"
        schedule => "* * * * *"
        statement => "SELECT * FROM `tablecandelete`"
    }

}


## Add your filters / logstash plugins configuration here


output {

    stdout { codec => json_lines }

    if [deleted] == 1 {
        elasticsearch {
            hosts => "elasticsearch:9200"
            index => "nombase"
            document_type => "tablecandelete"

            ## TO PREVENT DUPLICATE ITEMS
            document_id => "tablecandelete-%{id}"
            action => "delete"
        }
    } else {
        elasticsearch {
            hosts => "elasticsearch:9200"
            index => "nombase"
            document_type => "tablecandelete"

            ## TO PREVENT DUPLICATE ITEMS
            document_id => "tablecandelete-%{id}"
        }
    }

}

这是我的配置文件b

input {

    jdbc {
        jdbc_driver_library => "/usr/share/logstash/mysql-connector-java-5.1.42-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://db:3306/nombase"
        jdbc_user => "root"
        jdbc_password => "root"
        schedule => "* * * * *"
        statement => "SELECT * FROM `nomtable`"
    }

}


## Add your filters / logstash plugins configuration here


output {

    stdout { codec => json_lines }

    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "nombase"
        document_type => "nomtable"

        ## TO PREVENT DUPLICATE ITEMS
        document_id => "nomtable-%{id}"
    }

}

有人有想法吗？感谢任何 response/help

Answer 1

虽然您确实有两个不同的配置文件，但 logstash 不会将它们视为独立的 -- 您可以将所有输入放在一个文件中，将所有输出放在另一个文件中。

要将内容分开，您必须在每个输入上添加 type => something_unique，然后用

包围配置文件中的剩余代码

if [type] == 'something_unique' { 
  // config here 
}

为什么 logstash 合并表？

Why is logstash merging tables?

elasticsearch

logstash

logstash-configuration

logstash-jdbc