用于清理 Athena OutputLocation 的 AWS S3 生命周期规则
AWS S3 Lifecycle Rule to cleanup Athena OutputLocation
我正在尝试设置一个生命周期规则来清理我臃肿的 athena OutputLocation 文件夹,我需要一些说明
当前设置的生命周期规则片段如下
此规则是否仅适用于我存储桶中的文件夹 athena-results/?
规则操作对我来说有点不清楚,实际上 select?我想删除此位置中超过 1 天的任何和所有现有文件 - 几年前的文件以及以后每天的文件。我目前的 selection 正确吗?使当前版本的对象过期,我假设这个对象会处理所有历史文件?或者我是否还需要 select 第 5 个选项,删除过期删除标记或不完整的分段上传?
有关进一步的上下文以及此 OutputLocation 文件夹的用途:
$query = $client->startQueryExecution([
“查询字符串”=> $sql,
“结果配置”=> [
“OutputLocation”=>“s3://s3location/athena-results”
]
]);
$obj = $s3->getObject([
'Bucket' => 'analytics',
'Key' => 'athena-results/'.$queryId.'.csv'
]);
其中一些选项(例如删除标记)仅在存储桶激活了版本控制时才适用。
Amazon Athena 不进行分段上传或任何存储 class 转换,因此不需要这些选项。
您的选择看起来不错 -- 试试吧!对象开始消失可能需要 24-48 小时。
让我们知道您的进展如何!
我正在尝试设置一个生命周期规则来清理我臃肿的 athena OutputLocation 文件夹,我需要一些说明
当前设置的生命周期规则片段如下
此规则是否仅适用于我存储桶中的文件夹 athena-results/?
规则操作对我来说有点不清楚,实际上 select?我想删除此位置中超过 1 天的任何和所有现有文件 - 几年前的文件以及以后每天的文件。我目前的 selection 正确吗?使当前版本的对象过期,我假设这个对象会处理所有历史文件?或者我是否还需要 select 第 5 个选项,删除过期删除标记或不完整的分段上传?
有关进一步的上下文以及此 OutputLocation 文件夹的用途:
$query = $client->startQueryExecution([ “查询字符串”=> $sql, “结果配置”=> [ “OutputLocation”=>“s3://s3location/athena-results” ] ]);
$obj = $s3->getObject([ 'Bucket' => 'analytics', 'Key' => 'athena-results/'.$queryId.'.csv' ]);
其中一些选项(例如删除标记)仅在存储桶激活了版本控制时才适用。
Amazon Athena 不进行分段上传或任何存储 class 转换,因此不需要这些选项。
您的选择看起来不错 -- 试试吧!对象开始消失可能需要 24-48 小时。
让我们知道您的进展如何!