Redshift 数据 API 查询语句大小限制为 100 KB
Redshift Data API query statement size limited to 100 KB
问题:我们的 Redshift Java SDK 查询 return ValidationException:software.amazon.awssdk.services.redshiftdata.model.ValidationException: Cannot process query string larger than 100kB
详情:
- 我们的系统可能会生成许多 SQL 通过 SQL UNION 连接在一起的 SELECT,并在 UNION 级别上使用排序规则 - 这就是我们达到 100kB 查询大小限制的原因。
- 我们了解到,SQL 查询超过 100 KB 的查询设计不佳,我们将减少这些查询的大小。
- 在业务逻辑中应用更改和约束之前,我们需要更好地了解此 Redshift 基础架构限制。
- 通过连接到 Redshift 引擎的标准 SQL 客户端执行相同的 SQL 查询时,我没有遇到任何类似的错误。
- 由于各种原因,我们更愿意继续使用 SDK(而不是 JDBC、CLI)。
问题:查询大小 100 KB 的软限制约束是否可以在我们的 cluster/SDK 中配置,还是在 Amazon 端设置硬限制?
Redshift 的查询大小限制为 16MB - https://docs.aws.amazon.com/redshift/latest/dg/c_redshift-sql.html
我认为你需要关注SDK。
最后有关于 Redshift 数据的约束 API - 最大查询语句大小为 100 KB。
来源:https://docs.aws.amazon.com/redshift/latest/mgmt/data-api.html#data-api-calling-considerations
问题:我们的 Redshift Java SDK 查询 return ValidationException:software.amazon.awssdk.services.redshiftdata.model.ValidationException: Cannot process query string larger than 100kB
详情:
- 我们的系统可能会生成许多 SQL 通过 SQL UNION 连接在一起的 SELECT,并在 UNION 级别上使用排序规则 - 这就是我们达到 100kB 查询大小限制的原因。
- 我们了解到,SQL 查询超过 100 KB 的查询设计不佳,我们将减少这些查询的大小。
- 在业务逻辑中应用更改和约束之前,我们需要更好地了解此 Redshift 基础架构限制。
- 通过连接到 Redshift 引擎的标准 SQL 客户端执行相同的 SQL 查询时,我没有遇到任何类似的错误。
- 由于各种原因,我们更愿意继续使用 SDK(而不是 JDBC、CLI)。
问题:查询大小 100 KB 的软限制约束是否可以在我们的 cluster/SDK 中配置,还是在 Amazon 端设置硬限制?
Redshift 的查询大小限制为 16MB - https://docs.aws.amazon.com/redshift/latest/dg/c_redshift-sql.html
我认为你需要关注SDK。
最后有关于 Redshift 数据的约束 API - 最大查询语句大小为 100 KB。
来源:https://docs.aws.amazon.com/redshift/latest/mgmt/data-api.html#data-api-calling-considerations