运行 使用 Lambda 在 Athena 上进行大查询
Running Big Queries on Athena using Lambda
众所周知，Lambda 会在执行 15 分钟后超时。我正在寻找一种在非常庞大的数据集上执行 Athena 查询的方法。从 Lambda 调用查询将引入 Lambda 在处理查询之前超时的问题。我的最终目标是调用查询并知道查询何时完成，以便我可以处理结果。可以使用状态机来查询 Athena 吗？还是 Lambda 仅通过调用 athena 而不是等待结果来运行，我将在我期望查询 运行 的持续时间之后查询 athena 的结果？任何其他想法将不胜感激。
使用 Athena，您启动一个查询，并作为结果返回一个唯一的 Athena 查询执行 ID。 Athena 异步执行查询。 Athena 最终将查询结果存储在 S3 中。您稍后可以通过传入原始查询执行 ID 进行第二次 API 调用来检索这些结果。
见Working with Query Results, Output Files, and Query History。
众所周知，Lambda 会在执行 15 分钟后超时。我正在寻找一种在非常庞大的数据集上执行 Athena 查询的方法。从 Lambda 调用查询将引入 Lambda 在处理查询之前超时的问题。我的最终目标是调用查询并知道查询何时完成，以便我可以处理结果。可以使用状态机来查询 Athena 吗？还是 Lambda 仅通过调用 athena 而不是等待结果来运行，我将在我期望查询 运行 的持续时间之后查询 athena 的结果？任何其他想法将不胜感激。
使用 Athena，您启动一个查询，并作为结果返回一个唯一的 Athena 查询执行 ID。 Athena 异步执行查询。 Athena 最终将查询结果存储在 S3 中。您稍后可以通过传入原始查询执行 ID 进行第二次 API 调用来检索这些结果。
见Working with Query Results, Output Files, and Query History。