Logstash 不产生任何输出

Question

我按照 the tutorial found here 设置了 ELK 堆栈，最终我设法让一切正常工作。然而，当我试图修改系统以读取 CSV 文件时，它完全停止工作。 conf 文件如下所示：

input {
  file {
    path => "/home/user/remaining/path/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

filter {
    if [type] == "transaction" {
      csv {
            columns => ["@timestamp", "ip address", "domain", "user", "demo", "id", "activity", "detail"]
            separator => ","
          }
    }

}

output {
    stdout {
        codec => rubydebug
    }
  elasticsearch {
    hosts => ["localhost:9200"]
    action => "index"    
    index => "logstash-test"
    workers => 1
  }
}

我已经尝试按照一些教程和指南进行设置，据我所知，logstash 仍然连接到 elasticsearch。我只是没有看到任何输出。我怀疑它根本没有读取文件。部分问题是我不确定如何测试 logstash 的每个组件。有什么我可能错过的吗？

编辑： csv 文件通常如下所示：

2016-02-29T22:26:39.319700,22.111.11.11,place.domain.ca,bob,DEMO,95081299250aa8,TI_START,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"
2016-02-29T22:27:00.098426,24.111.11.11,otherplace.domain.ca,bob,DEMO,390s8clearlyfake,TI_END,"{'field': 'data', 'field2': 'moredata', 'anotherfield': 'evenmoredata', 'continuedfield': 'habbo', 'size': '16'}"

我还注意到，当我转到 localhost:9200/logstash-test/ 时，我得到了 404。我不确定这是因为没有数据传输，还是因为不同的连接问题。

Answer 1

作为此处讨论的一部分：https://discuss.elastic.co/t/logstash-not-showing-any-output-solved/28636/16

我的文件超过 24 小时，这是文件输入的默认过期时间。通过更改以下内容修复了此问题，其中 ignore_older 默认为 86400：

input {
  file {
    ignore_older => 864000
    path => "/home/sean/cost-logs/transaction/*.csv"
    type => "transaction"
    start_position => "beginning"
  }
}

Logstash 不产生任何输出

Logstash Produces No Output

csv

logstash

elastic-stack