Kusto logstash 实时更新系统日志

Question

我希望每个人都做得很好。

我对 Azure Data Explorer 和 logstash 有疑问。

我按照这个 Microsoft 教程使用 Kusto 和 logstash 配置了 azure 数据资源管理器。

https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-logstash

我创建了一个 Azure 数据资源管理器，为数据创建了一个 table。另一方面，我固定了一个虚拟机，安装了 logstash 并配置了将系统日志转发到 azure data explorer 所需的所有最低要求。

一切正常，我没有遇到任何问题，但有一个步骤让我有点烦恼，希望得到一些说明。

我想用来自我的虚拟机的实时系统日志测试这个项目。

所以我为 logstash 配置 conf 文件如下：

input {
  tcp {
    port => 514
 }
}
output {
  kusto {
    path => "/tmp/kusto/%{+YYYY-MM-dd-HH-mm-ss}.txt"
    ingest_url => "my-ingest-url"
    app_id => "app-id"
    app_key => "secret"
    app_tenant => "tenant"
    database => "db"
    table => "table"
    json_mapping => "mapping"
 }
}

为了测试这一点，我安装了 kiwi 系统日志生成器，并开始每秒发送一次数据。一切正常，但数据浏览器最多需要 10 分钟才能显示这些系统日志。

根据我的理解和配置文件。对于转发的每个系统日志，kusto 在 tmp 文件夹中创建一个文件，写入该系统日志，然后关闭该文件。

path => "/tmp/kusto/%{+YYYY-MM-dd-HH-mm-ss}.txt"

在此过程之后，需要 10 分钟才能在我的数据浏览器中看到它的可视化。

这对我来说是个问题，因为我想做的是拥有一个 azure 函数，该函数每 12 小时触发一次，并针对自该特定时刻以来的所有数据，而不会将任何数据留在外面，因为仍处于待定状态。

我不知道我是否正确解释了我的问题，但是如果您有任何问题，请不要犹豫。

Answer 1

对于在 Kusto 中显示所需的 10 分钟，这可能是由于 table 上的 ingestionbatching policy，其中默认批处理周期为五分钟。如果您希望数据显示得更快，您可以将 MaximumBatchingTimeSpan 设置为小于此值，其中 10 秒是最小值，请注意批处理 window 太小可能会对集群性能产生不利影响。

我不确定 Azure 功能如何与场景相关，请您说明一下？

Kusto logstash 实时更新系统日志

Kusto logstash update syslogs in real time

azure

logstash

azure-data-explorer