Logstash 不通过 Kafka 将日志转发到 ES

Question

我正在使用 ELK 5.0.1 和 Kafka 0.10.1.0。我不确定为什么我的日志没有转发我安装了 Kafkacat 并且能够从安装了 Kafka 集群的所有 3 台服务器成功地生产和使用日志。

shipper.conf

input {
    file {
            start_position => "beginning"
            path => "/var/log/logstash/logstash-plain.log"
            }
}

 output {
 kafka {
    topic_id => "stash"
    bootstrap_servers  => "<i.p1>:9092,<i.p2>:9092,<i.p3>:9092"
  }
}

receiver.conf

input {
kafka {
        topics => ["stash"]
        group_id => "stashlogs"
        bootstrap_servers  => "<i.p1>:2181,<i,p2>:2181,<i.p3>:2181"

}
}

 output {
    elasticsearch {
       hosts => ["<eip>:9200","<eip>:9200","<eip>:9200"]
       manage_template => false
       index => "logstash-%{+YYYY.MM.dd}"
  }
 }

日志：在 logstash 中获取以下警告-plain.log

[2017-04-17T16:34:28,238][WARN ][org.apache.kafka.common.protocol.Errors] Unexpected error 
code: 38.
[2017-04-17T16:34:28,238][WARN ][org.apache.kafka.clients.NetworkClient] Error while fetching 
metadata with correlation id 44 : {stash=UNKNOWN}

Answer 1

您的 bootstrap 服务器似乎正在使用 zookeeper 端口。尝试使用 Kafka 端口（默认 9092）

Logstash 不通过 Kafka 将日志转发到 ES

Logstash not forwarding logs to ES via Kafka

apache-kafka

logstash

elastic-stack