即使设置了 PutObject 权限,Athena 输出文件在 S3 Landing Bucket 中丢失
Athena Output files are Missing in S3 Landing Bucket Even Though PutObject Permissions are Set
检查我的权限、角色和策略后,我怀疑我有权写入 S3 中的 Athena 输出位置,但出于某种原因,每当文件登陆输入 S3 存储桶时触发 Athena 查询运行 我的 Lambda python 集成中的大型查询,我注意到:
- 我没有从 AWS Cloud Watch 中的 Athena 获得任何类型的 HTTP return 代码,尽管代码 运行s 没有错误。
- 我没有在 Athena S3 输出存储桶中找到任何 CSV 文件。
- 当我在 Athena 控制台中测试查询时,它显示了正确的输出。
我不知道为什么。我确实在 Athena 中执行了 Alter Table 以确保表也指向正确的输出位置。以下是代码、权限和策略的屏幕截图:(请注意,在最后两个屏幕截图中,client_name 变量包含 Athena 将用作查询。变量 athena_output_bucket 是一个全局变量,之前已设置为默认值(即 athena_output_bucket = "s3://prod-cog-kahala-test-output/baja /”)。因此,它会根据放在 S3 输入存储桶上的输入文件的名称进行切换。非常感谢您提供的所有帮助。
政策
好的,我发现为什么没有数据被发送到输出 S3 位置。我不小心将 Table 错误地设置为 S3 输出位置而不是 S3 数据输入位置,但没有意识到。
检查我的权限、角色和策略后,我怀疑我有权写入 S3 中的 Athena 输出位置,但出于某种原因,每当文件登陆输入 S3 存储桶时触发 Athena 查询运行 我的 Lambda python 集成中的大型查询,我注意到:
- 我没有从 AWS Cloud Watch 中的 Athena 获得任何类型的 HTTP return 代码,尽管代码 运行s 没有错误。
- 我没有在 Athena S3 输出存储桶中找到任何 CSV 文件。
- 当我在 Athena 控制台中测试查询时,它显示了正确的输出。
我不知道为什么。我确实在 Athena 中执行了 Alter Table 以确保表也指向正确的输出位置。以下是代码、权限和策略的屏幕截图:(请注意,在最后两个屏幕截图中,client_name 变量包含 Athena 将用作查询。变量 athena_output_bucket 是一个全局变量,之前已设置为默认值(即 athena_output_bucket = "s3://prod-cog-kahala-test-output/baja /”)。因此,它会根据放在 S3 输入存储桶上的输入文件的名称进行切换。非常感谢您提供的所有帮助。
政策
好的,我发现为什么没有数据被发送到输出 S3 位置。我不小心将 Table 错误地设置为 S3 输出位置而不是 S3 数据输入位置,但没有意识到。