在此比例因子下查询耗尽的资源
Query exhausted resources at this scale factor
我在 Amazon Athena 上 运行 SQL 查询。我几次遇到以下错误：
在此比例因子下查询耗尽的资源
此查询 运行 针对 "test1" 数据库，除非查询限定。请 post 我们论坛上的错误消息或联系客户支持并查询 ID：***************
查看这些提示并尝试优化您的查询。
https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/
此错误表示聚合结果超出了分配的资源。我相信是记忆。
在没有看到查询的情况下，很难确定问题出在哪里，但很可能是由于 Athena 中与大型中间结果集的排序有关的内部问题。
Athena 使用的 Presto 版本不支持对太大而无法放入内存的数据集进行排序。它过去也适用于聚合，但 Athena 团队已经修复了这个问题。
当您的表非常宽时，即许多列或包含大量数据的列时，最常出现此问题。每个单独的行都可以代表一大块内存，如果节点在尝试对其块进行排序时内存不足，则查询将中止并显示 "query exhausted resources at this scale factor" 错误。
如果这符合您的情况，不幸的是，唯一的解决方法是限制列数或取消排序。有时你可以重新安排查询在不同的阶段进行排序，以降低排序阶段的内存压力。
我在 Amazon Athena 上 运行 SQL 查询。我几次遇到以下错误：
在此比例因子下查询耗尽的资源
此查询 运行 针对 "test1" 数据库，除非查询限定。请 post 我们论坛上的错误消息或联系客户支持并查询 ID：***************
查看这些提示并尝试优化您的查询。 https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/
此错误表示聚合结果超出了分配的资源。我相信是记忆。
在没有看到查询的情况下，很难确定问题出在哪里，但很可能是由于 Athena 中与大型中间结果集的排序有关的内部问题。
Athena 使用的 Presto 版本不支持对太大而无法放入内存的数据集进行排序。它过去也适用于聚合，但 Athena 团队已经修复了这个问题。
当您的表非常宽时，即许多列或包含大量数据的列时，最常出现此问题。每个单独的行都可以代表一大块内存，如果节点在尝试对其块进行排序时内存不足，则查询将中止并显示 "query exhausted resources at this scale factor" 错误。
如果这符合您的情况，不幸的是，唯一的解决方法是限制列数或取消排序。有时你可以重新安排查询在不同的阶段进行排序，以降低排序阶段的内存压力。