Logstash jdbc 左外连接作为子文档

Logstash jdbc left outer join as subdocuments

我正在使用 Logstash jdbc 插件将 MySQL 数据导入 ElasticSearch。由于左外连接,我最终得到多个 'child rows' 和单个 'parent row'。假设 1 个用户有 1 个或多个文档。我尝试 group_concat 文档的文本,然后按用户 ID 分组,以便为​​每个用户保留 1 行。

然而,MySQL 的 group_concat 的长度限制为 1024...

有谁知道完全克服 group_concat 并将左外连接作为嵌套文档处理的解决方案?

谢谢

默认值为 1024,但您可以使用

增加 GROUP_CONCAT 的允许长度
SET SESSION group_concat_max_len = 102400

或您认为必要的任何长度(更多信息in the official docs

我在复杂的 OUTER JOIN 中使用它,它创建了许多子 objects/documents,到目前为止它工作得很好。