与 Logstash 的不一致流行为 - ELK
Inconsistency streaming behavior with Logstash - ELK
我有一个包含多个平面字段和多个嵌套字段的索引。我正在尝试通过 Logstash 从 SQL 服务器将信息流式传输到特定 ID 的嵌套字段中。
当我流式传输 只有一个 Id 的数据时，它会完全成功地通过，没有任何问题。另一方面，当我尝试为多个 id 流式传输数据时——由于某种原因，插入到索引中的信息是部分的。
注意：查询按id排序。
此外，在不同的流式传输数据尝试中，获得了不同数量的信息。
例如，假设完整信息包含 15 行。一次尝试 - 仅获得 2 行，但在另一次尝试中 - 获得 14 行，看似 完全任意 。
有谁知道什么会导致这种奇怪的行为？我很乐意提供任何帮助。
谢谢！
这是因为 Logstash execution model 多个工作线程可以并行工作，您的事件可能由不同的工作线程处理。
如果您想要一致的加载行为，您需要使用单个工作程序执行您的管道（-w 1 在命令行上）
我有一个包含多个平面字段和多个嵌套字段的索引。我正在尝试通过 Logstash 从 SQL 服务器将信息流式传输到特定 ID 的嵌套字段中。 当我流式传输 只有一个 Id 的数据时，它会完全成功地通过，没有任何问题。另一方面，当我尝试为多个 id 流式传输数据时——由于某种原因，插入到索引中的信息是部分的。 注意：查询按id排序。 此外，在不同的流式传输数据尝试中，获得了不同数量的信息。 例如，假设完整信息包含 15 行。一次尝试 - 仅获得 2 行，但在另一次尝试中 - 获得 14 行，看似 完全任意 。 有谁知道什么会导致这种奇怪的行为？我很乐意提供任何帮助。 谢谢！
这是因为 Logstash execution model 多个工作线程可以并行工作，您的事件可能由不同的工作线程处理。
如果您想要一致的加载行为，您需要使用单个工作程序执行您的管道（-w 1 在命令行上）