在将数据流式传输到 BigQuery 的数据流作业期间未能将 json 序列化为 table 行

Question

我正在使用数据流作业模板将数据从 Pub/Sub 订阅流式传输到 BigQuery。我需要从每个 JSON 文件中转换值并将多个 table 行一次输出到 BQ table。到达 Pub/Sub 的 JSON 消息的简化版本如下：

{"a":{"k1":v1, "k2":v2}, "b":{"k1":v1, "k2":v2}...}

而转换后的 JSON 应如下所示：

[{"k1":v1, "k2":v2}, {"k1":v1, "k2":v2}...]

这是我创建的 UDF 的简化：

function transformToTableRows(inJson) {
  var input = JSON.parse(inJson);
  var output = [];
  for (var elem in input) {
    output.push({"k1": input[elem].k1, "k2": input[elem].k2})
  }
  return JSON.stringify(output);
}

不幸的是，这不会起作用，并且会记录错误“无法将 json 序列化到 table 行”。关于如何解决这个问题有什么建议吗？

Answer 1

根据文档，该模板旨在为每条消息仅输出一行 table。谢谢 – Great Door East