我可以使用 Logstash 提取压缩数据吗？

Question

我正在尝试将数据提取到 Elasticsearch。

数据位于共享文件夹中。如果可能，我想在将 zip 文件提取到 Elasticsearch 后将其删除。

这是一个 .zip 文件，可以解压缩为一个大文件，格式如下：

#ReferenceID    123das
#FamilyID       abc
#ArchiveDate    1483237892226   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is secret content of the document, and it is not encrypted. 
#EndDoc

#ReferenceID    123das/1  (The "/1" means 1st attachment)
#FamilyID       abc        
#ArchiveDate    1483237892227   (datetime in millisecond epoch)
#SenderID       user1 
#RecipientID    user2 
#RecipientID    user3   (notice there are more than 1 RecipientID)
#Content        
This is the secret attachment content  
#EndDoc

#ReferenceID...
...
#EndDoc 

...multiple of these until End of File 

基本上每个

#ReferenceID... 
...
#EndDoc

代表要被摄取到 Elasticsearch 中的文档

我的问题是这可以使用 Logstash 和 Beats 来完成吗？我该怎么做呢？任何指点表示赞赏。

Answer 1

Logstash 的文件{}输入无法处理压缩文件。见 github issue.

Filebeat 也不能​​……还不行！请参阅 this PR，它似乎正在运行。

仅供参考，s3{} 输入可以。