如何使用 Postgres jsonb_path_query 而不是 select union
How to use Postgres jsonb_path_query instead of select union
db:Postgresql-14。这将是一个不常见的转换，我正在寻找可以做出的建议/改进，以便我可以 learn/hone 我的 postgres/json 技能（以及 speed/optimize 这个非常慢的查询）。
我们从外部 api.
接收变量 size/structure json 对象
每个 json 对象都是一个调查回复。每个嵌套的“question/answer”对象都可以有完全不同的结构。总共大约有 ~5 个已知结构。
响应对象存储在具有 jsonb_ops gin 索引的 jsonb 列中。
Table 有大约 500,000 行。每行的 jsonb 列对象有大约 200 个嵌套值。
我们的目标是将所有嵌套的 question/answer 响应提取到另一个 table 的 id、question、answer 中。在目标 table 上，我们将使用 FTS 和 trigram 进行大量查询，并旨在简化模式。这就是为什么我要提取到一个简单的 table 而不是使用 jsonb 查询做任何更奇特的事情。这些对象中还有很多我不需要的元数据。所以我也希望通过归档原点 table（它是 5GB + 索引）来节省一些 space。
具体来说，我很想学习一种更优雅的方式来遍历和提取 json 到目的地 table。
而且我一直无法找到一种方法将结果转换为实际的 sql 文本而不是引用的 json 文本（通常我会使用 ->>, ::text , 或 jsonb 函数的 _text 版本)
这是 json 对象的一个非常简化的版本，以简化 运行 这个。
提前致谢！
create table test_survey_processing(
id integer generated always as identity constraint test_survey_processing_pkey primary key,
json_data jsonb
);
insert into test_survey_processing (json_data)
values ('{"survey_data": {"2": {"answer": "Option 1", "question": "radiobuttonquesiton"}, "3": {"options": {"10003": {"answer": "Option 1"}, "10004": {"answer": "Option 2"}}, "question": "checkboxquestion"}, "5": {"answer": "Column 2", "question": "Row 1"}, "6": {"answer": "Column 2", "question": "Row 2"}, "7": {"question": "checkboxGRIDquesiton", "subquestions": {"8": {"10007": {"answer": "Column 1", "question": "Row 1 : Column 1"}, "10008": {"answer": "Column 2", "question": "Row 1 : Column 2"}}, "9": {"10007": {"answer": "Column 1", "question": "Row 2 : Column 1"}, "10008": {"answer": "Column 2", "question": "Row 2 : Column 2"}}}}, "11": {"answer": "Option 1", "question": "Row 1"}, "12": {"answer": "Option 2", "question": "Row 2"}, "13": {"options": {"10011": {"answer": "Et molestias est opt", "option": "Option 1"}, "10012": {"answer": "Similique magnam min", "option": "Option 2"}}, "question": "textboxlist"}, "14": {"question": "textboxgridquesiton", "subquestions": {"15": {"10013": {"answer": "Qui error magna omni", "question": "Row 1 : Column 1"}, "10014": {"answer": "Est qui dolore dele", "question": "Row 1 : Column 2"}}, "16": {"10013": {"answer": "vident mol", "question": "Row 2 : Column 1"}, "10014": {"answer": "Consectetur dolor co", "question": "Row 2 : Column 2"}}}}, "17": {"question": "contactformquestion", "subquestions": {"18": {"answer": "Rafael", "question": "First Name"}, "19": {"answer": "Adams", "question": "Last Name"}}}, "33": {"question": "customgroupquestion", "subquestions": {"34": {"answer": "Sed magnam enim non", "question": "customgroupTEXTbox"}, "36": {"answer": "Option 2", "question": "customgroupradiobutton"}, "37": {"options": {"10021": {"answer": "Option 1", "option": "customgroupCHEC KBOX question : Option 1"}, "10022": {"answer": "Option 2", "option": "customgroupCHEC KBOX question : Option 2"}}, "question": "customgroupCHEC KBOX question"}}}, "38": {"question": "customTABLEquestion", "subquestions": {"10001": {"answer": "Option 1", "question": "customTABLEquestioncolumnRADIO"}, "10002": {"answer": "Option 2", "question": "customTABLEquestioncolumnRADIO"}, "10003": {"options": {"10029": {"answer": "OPTION1"}, "10030": {"answer": "OPTION2"}}, "question": "customTABLEquestioncolumnCHECKBOX"}, "10004": {"options": {"10029": {"answer": "OPTION1"}, "10030": {"answer": "OPTION2"}}, "question": "customTABLEquestioncolumnCHECKBOX"}, "10005": {"answer": "Aperiam itaque dolor", "question": "customTABLEquestioncolumnTEXTBOX"}, "10006": {"answer": "Hic qui numquam inci", "question": "customTABLEquestioncolumnTEXTBOX"}}}}}');
create index test_survey_processing_gin_index on test_survey_processing using gin (json_data);
-- the query I'm using (it works, but it is unmanageably slow)
-- EXPLAIN (ANALYZE, VERBOSE, BUFFERS, FORMAT JSON)
select level1.value['question'] question, level1.value['answer'] as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.options.*.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.subquestions.*.*.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
完善并获得我需要的结果后的后续编辑
这是我最终得到的查询 运行。处理和插入 3400 万条记录用了 11 分钟。这很好，因为它是一次性操作。
关于我所做的更改的一些评论
-我使用 -> 和 ->> 而不是 [subscripting] 因为我读到即使在 pg14 中，下标也不使用索引（不确定这在 FROM 中是否重要）
- "to_json(...) #>> '{}'" 是我如何将 json 字符串转换为基于此的不带引号的字符串：stack overflow answer
create table respondent_questions_answers as
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question, '' as sub_question,
to_json(jsonb_path_query(level1.value, '$.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.options.*.option')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.options.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.*.question')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.question')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1;
接受以下答案作为解决方案后的最终编辑
感谢@Edouard H. 的回答并更好地理解如何正确使用 jsonb_path_query，我能够消除所有 UNION SELECT，发现一些缺失的值，并且删除 to_json hack 的需要。尽管 CROSS JOIN LATERAL 隐含在 json 函数中，但包含 JOIN 而不是逗号是更好的形式，因为它们绑定更紧密，更易于阅读。下面是我使用的最终查询。
SELECT concat_ws(' ',
qu.value::jsonb->>'question'
, an.answer::jsonb->>'question'
, an.answer::jsonb->>'option') AS question
, an.answer::jsonb->>'answer' AS answer
-- , tgsr.json_data->>'survey_data'
FROM test_survey_processing tgsr
CROSS JOIN LATERAL jsonb_each(tgsr.json_data->'survey_data') AS qu
CROSS JOIN LATERAL jsonb_path_query(qu.value::jsonb, '$.** ? (exists(@.answer))') AS an(answer)
第一个想法：用 1 个唯一查询替换 UNION 的 4 个查询。
第二个想法：第一个查询中的语句level1.value['answer'] as answer听起来像第二个查询中的语句jsonb_path_query(level1.value, '$.answer')::jsonb as answer。我认为这两个查询 return 同一组行，并且两个查询之间的 UNION 删除了重复项。
第三个想法：在FROM子句中使用jsonb_path_query函数代替SELECT子句，使用CROSS JOIN LATERAL为了逐步分解 jsonb 数据：
SELECT qu.question->>'question' AS question
, an.answer->>'answer' AS answer
, tgsr.json_data->>'survey_data'
FROM test_survey_processing tgsr
CROSS JOIN LATERAL jsonb_each(tgsr.json_data->'survey_data') AS qu(question)
CROSS JOIN LATERAL jsonb_path_query(qu.question, '$.** ? (exists(@.answer))') AS an(answer)
-- 其中 survey_id = 6633968 和 id = 4
db:Postgresql-14。这将是一个不常见的转换，我正在寻找可以做出的建议/改进，以便我可以 learn/hone 我的 postgres/json 技能（以及 speed/optimize 这个非常慢的查询）。
我们从外部 api.
接收变量 size/structure json 对象每个 json 对象都是一个调查回复。每个嵌套的“question/answer”对象都可以有完全不同的结构。总共大约有 ~5 个已知结构。
响应对象存储在具有 jsonb_ops gin 索引的 jsonb 列中。
Table 有大约 500,000 行。每行的 jsonb 列对象有大约 200 个嵌套值。
我们的目标是将所有嵌套的 question/answer 响应提取到另一个 table 的 id、question、answer 中。在目标 table 上，我们将使用 FTS 和 trigram 进行大量查询，并旨在简化模式。这就是为什么我要提取到一个简单的 table 而不是使用 jsonb 查询做任何更奇特的事情。这些对象中还有很多我不需要的元数据。所以我也希望通过归档原点 table（它是 5GB + 索引）来节省一些 space。
具体来说，我很想学习一种更优雅的方式来遍历和提取 json 到目的地 table。
而且我一直无法找到一种方法将结果转换为实际的 sql 文本而不是引用的 json 文本（通常我会使用 ->>, ::text , 或 jsonb 函数的 _text 版本)
这是 json 对象的一个非常简化的版本，以简化 运行 这个。
提前致谢！
create table test_survey_processing(
id integer generated always as identity constraint test_survey_processing_pkey primary key,
json_data jsonb
);
insert into test_survey_processing (json_data)
values ('{"survey_data": {"2": {"answer": "Option 1", "question": "radiobuttonquesiton"}, "3": {"options": {"10003": {"answer": "Option 1"}, "10004": {"answer": "Option 2"}}, "question": "checkboxquestion"}, "5": {"answer": "Column 2", "question": "Row 1"}, "6": {"answer": "Column 2", "question": "Row 2"}, "7": {"question": "checkboxGRIDquesiton", "subquestions": {"8": {"10007": {"answer": "Column 1", "question": "Row 1 : Column 1"}, "10008": {"answer": "Column 2", "question": "Row 1 : Column 2"}}, "9": {"10007": {"answer": "Column 1", "question": "Row 2 : Column 1"}, "10008": {"answer": "Column 2", "question": "Row 2 : Column 2"}}}}, "11": {"answer": "Option 1", "question": "Row 1"}, "12": {"answer": "Option 2", "question": "Row 2"}, "13": {"options": {"10011": {"answer": "Et molestias est opt", "option": "Option 1"}, "10012": {"answer": "Similique magnam min", "option": "Option 2"}}, "question": "textboxlist"}, "14": {"question": "textboxgridquesiton", "subquestions": {"15": {"10013": {"answer": "Qui error magna omni", "question": "Row 1 : Column 1"}, "10014": {"answer": "Est qui dolore dele", "question": "Row 1 : Column 2"}}, "16": {"10013": {"answer": "vident mol", "question": "Row 2 : Column 1"}, "10014": {"answer": "Consectetur dolor co", "question": "Row 2 : Column 2"}}}}, "17": {"question": "contactformquestion", "subquestions": {"18": {"answer": "Rafael", "question": "First Name"}, "19": {"answer": "Adams", "question": "Last Name"}}}, "33": {"question": "customgroupquestion", "subquestions": {"34": {"answer": "Sed magnam enim non", "question": "customgroupTEXTbox"}, "36": {"answer": "Option 2", "question": "customgroupradiobutton"}, "37": {"options": {"10021": {"answer": "Option 1", "option": "customgroupCHEC KBOX question : Option 1"}, "10022": {"answer": "Option 2", "option": "customgroupCHEC KBOX question : Option 2"}}, "question": "customgroupCHEC KBOX question"}}}, "38": {"question": "customTABLEquestion", "subquestions": {"10001": {"answer": "Option 1", "question": "customTABLEquestioncolumnRADIO"}, "10002": {"answer": "Option 2", "question": "customTABLEquestioncolumnRADIO"}, "10003": {"options": {"10029": {"answer": "OPTION1"}, "10030": {"answer": "OPTION2"}}, "question": "customTABLEquestioncolumnCHECKBOX"}, "10004": {"options": {"10029": {"answer": "OPTION1"}, "10030": {"answer": "OPTION2"}}, "question": "customTABLEquestioncolumnCHECKBOX"}, "10005": {"answer": "Aperiam itaque dolor", "question": "customTABLEquestioncolumnTEXTBOX"}, "10006": {"answer": "Hic qui numquam inci", "question": "customTABLEquestioncolumnTEXTBOX"}}}}}');
create index test_survey_processing_gin_index on test_survey_processing using gin (json_data);
-- the query I'm using (it works, but it is unmanageably slow)
-- EXPLAIN (ANALYZE, VERBOSE, BUFFERS, FORMAT JSON)
select level1.value['question'] question, level1.value['answer'] as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.options.*.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
union
select level1.value['question'] question, jsonb_path_query(level1.value, '$.subquestions.*.*.answer')::jsonb as answer ,tgsr.json_data['survey_data']
from test_survey_processing tgsr,
jsonb_each(tgsr.json_data['survey_data']::jsonb) level1
-- where survey_id = 6633968 and id = 4
完善并获得我需要的结果后的后续编辑
这是我最终得到的查询 运行。处理和插入 3400 万条记录用了 11 分钟。这很好，因为它是一次性操作。
关于我所做的更改的一些评论
-我使用 -> 和 ->> 而不是 [subscripting] 因为我读到即使在 pg14 中，下标也不使用索引（不确定这在 FROM 中是否重要）
- "to_json(...) #>> '{}'" 是我如何将 json 字符串转换为基于此的不带引号的字符串：stack overflow answer
create table respondent_questions_answers as
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question, '' as sub_question,
to_json(jsonb_path_query(level1.value, '$.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.options.*.option')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.options.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.*.question')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1
union
select tgsr.id,tgsr.survey_id,level1.value ->> 'question' question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.question')) #>> '{}' as sub_question,
to_json(jsonb_path_query(level1.value, '$.subquestions.*.answer')) #>> '{}' as answer
from test_survey_processing tgsr, jsonb_each(tgsr.json -> 'survey_data') level1;
接受以下答案作为解决方案后的最终编辑
感谢@Edouard H. 的回答并更好地理解如何正确使用 jsonb_path_query，我能够消除所有 UNION SELECT，发现一些缺失的值，并且删除 to_json hack 的需要。尽管 CROSS JOIN LATERAL 隐含在 json 函数中，但包含 JOIN 而不是逗号是更好的形式，因为它们绑定更紧密，更易于阅读。下面是我使用的最终查询。
SELECT concat_ws(' ',
qu.value::jsonb->>'question'
, an.answer::jsonb->>'question'
, an.answer::jsonb->>'option') AS question
, an.answer::jsonb->>'answer' AS answer
-- , tgsr.json_data->>'survey_data'
FROM test_survey_processing tgsr
CROSS JOIN LATERAL jsonb_each(tgsr.json_data->'survey_data') AS qu
CROSS JOIN LATERAL jsonb_path_query(qu.value::jsonb, '$.** ? (exists(@.answer))') AS an(answer)
第一个想法：用 1 个唯一查询替换 UNION 的 4 个查询。
第二个想法：第一个查询中的语句level1.value['answer'] as answer听起来像第二个查询中的语句jsonb_path_query(level1.value, '$.answer')::jsonb as answer。我认为这两个查询 return 同一组行，并且两个查询之间的 UNION 删除了重复项。
第三个想法：在FROM子句中使用jsonb_path_query函数代替SELECT子句，使用CROSS JOIN LATERAL为了逐步分解 jsonb 数据：
SELECT qu.question->>'question' AS question
, an.answer->>'answer' AS answer
, tgsr.json_data->>'survey_data'
FROM test_survey_processing tgsr
CROSS JOIN LATERAL jsonb_each(tgsr.json_data->'survey_data') AS qu(question)
CROSS JOIN LATERAL jsonb_path_query(qu.question, '$.** ? (exists(@.answer))') AS an(answer)
-- 其中 survey_id = 6633968 和 id = 4