Logstash 天蓝色插件

Question

我是 logstash 的新手，对如何做这部分有点困惑。

我从 azure blob 容器复制了日志，并能够通过 logstash 进行解析，并将记录放入我本地计算机上的弹性搜索中。现在我想更改输入，以便它直接从 Azure Blob 存储获取日志而不是文件。我找了插件，但是没找到 azure 的插件。

我希望我能在输入中做这样的事情。任何想法如何得到这个？

input {
  azureblob {
    storage_name => "abcd"
    storage_key => "key"
    container => "logLocation"
  }
}

Answer 1

玩弄并阅读了一堆资料后，我让它在我的本地 windows 机器上运行。

安装ruby。安装 jruby。命令行 -> gem 安装包。

构建 gems

需要以上内容

然后我得到了这些文件。 https://github.com/juliusl/logstash-input-azurewadtable/tree/0.9.2

已将 lib/logstash/inputs/azurewadtable.rb 替换为 https://github.com/mspnp/semantic-logging/blob/elk/ELK/logstash-extension/inputs/azureblob.rb

将所有文件中 azurewadtable 的所有位置替换为 azureblob。

通过命令行 gem 安装 "localtion_Of_gemSpec" 这将为您提供 gem 文件。

Logstash\bin\plugin 安装 "location_of_gem_file" Logstash\bin\plugin 安装 --no-verify

验证几件事： Logstash\gemfile 有这个条目并且 Logstash\vendor\local_gems 有文件

设置配置：

input {
  azureblob {
    storage_account_name => "STORAGE ACCOUNT NAME"
    storage_access_key => "STORAGE ACCESS KEY"
    container => "CONTAINER NAME"
  }

}

Logstash/bin/logstash -f "location_of_conf_File"

而且有效:)

Answer 2

我在使用 lostash-input-azureblob 插件获取 azure 日志并将它们发送到所需位置时遇到问题。 github 上仍然存在未解决的问题：https://github.com/Azure/azure-diagnostics-tools/issues/170
I have found a workaround, in the latest version 0.9.13 there is some files missing which can be downloaded from version 0.9.12, Please follow the below link for detail instructions :
https://github.com/Azure/azure-diagnostics-tools/issues/170#issuecomment-635286539

Logstash 天蓝色插件

Logstash azure plugin

iis-logs

azure

elasticsearch

logstash

azure-blob-storage