Google BigQuery error: Out of buffer space (error code: invalid)

Question

我正在使用 Google Bigquery user-defined functions 来展平和转置每日数据的嵌套字段。

除一日数据外，所有数据处理都很好。当我处理当天的数据时，Google Biequery returns 出现如下错误状态（用户自定义函数抛出的错误）：

Errors:
script: Out of buffer space (error code: invalid)
Job ID    XXX:XXXXX
Start Time    Mar 21, 2016, 4:39:42 PM
End Time    Mar 21, 2016, 4:39:48 PM
Destination Table    XXX:XXXXX
Write Preference    Append to table
Allow Large Results    true
Flatten Results    false

当天的原始数据大小约为1GB，处理比当天的数据大得多的其他天的数据是没有问题的。

有人对此错误有任何想法吗？

Answer 1

我发现了问题：

此错误不是 Google BigQuery 错误，此错误是从 UDF 函数抛出的 JavaScript 错误。

我在一些嵌套字段中有很长的字符串，我连接这些字段中的字符串，这些长字符串导致了 JavaScript out of buffer space 错误。

通过过滤掉超长字符串字段解决了问题

Google BigQuery error: Out of buffer space (error code: invalid)

Google BigQuery error: Out of buffer space (error code: invalid)

user-defined-functions

google-bigquery