Logstash jdbc 左外连接作为子文档
Logstash jdbc left outer join as subdocuments
我正在使用 Logstash jdbc 插件将 MySQL 数据导入 ElasticSearch。由于左外连接,我最终得到多个 'child rows' 和单个 'parent row'。假设 1 个用户有 1 个或多个文档。我尝试 group_concat 文档的文本,然后按用户 ID 分组,以便为每个用户保留 1 行。
然而,MySQL 的 group_concat 的长度限制为 1024...
有谁知道完全克服 group_concat 并将左外连接作为嵌套文档处理的解决方案?
谢谢
默认值为 1024,但您可以使用
增加 GROUP_CONCAT
的允许长度
SET SESSION group_concat_max_len = 102400
或您认为必要的任何长度(更多信息in the official docs)
我在复杂的 OUTER JOIN 中使用它,它创建了许多子 objects/documents,到目前为止它工作得很好。
我正在使用 Logstash jdbc 插件将 MySQL 数据导入 ElasticSearch。由于左外连接,我最终得到多个 'child rows' 和单个 'parent row'。假设 1 个用户有 1 个或多个文档。我尝试 group_concat 文档的文本,然后按用户 ID 分组,以便为每个用户保留 1 行。
然而,MySQL 的 group_concat 的长度限制为 1024...
有谁知道完全克服 group_concat 并将左外连接作为嵌套文档处理的解决方案?
谢谢
默认值为 1024,但您可以使用
增加GROUP_CONCAT
的允许长度
SET SESSION group_concat_max_len = 102400
或您认为必要的任何长度(更多信息in the official docs)
我在复杂的 OUTER JOIN 中使用它,它创建了许多子 objects/documents,到目前为止它工作得很好。