您可以使用 AWS Glue 提取加密的 S3 对象(文本文件)吗?
Can you ingest an encrypted S3 Object (Text file) using AWS Glue?
我在 S3 中有一个加密的文本文件。我想使用 AWS Glue 将此数据加载到 RDS Aurora。
我创建了一个爬虫来映射我的加密文本文件的架构,但爬虫没有创建任何 table。可以肯定的是,我抓取了同一个文件,但在解密版本上并且它有效。
我的问题是:
- AWS Glue 不能直接从 S3 提取加密文件吗?
- 如果是,请告诉我我缺少什么?
- 如果不是,将加密数据提取到 AWS Glue 中而根本不解密的最佳方法是什么。 (我的数据高度敏感)
提前致谢。
AWS Glue 无法提取使用 client side encryption
加密的加密文件。
但是,如果您使用 server side encryption
将文件上传到 S3 数据存储,只要您向允许爬虫 运行 并访问您的 Amazon S3 数据存储的角色授予策略访问权限,AWS glue 就可以提取此数据.
这是我定义的策略:
{
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:<Your Account Number>:key/<Your Key ID>"
]
}
}
因此,诀窍是为您的数据启用 server side encryption
而不是 client side encryption
。
我在 S3 中有一个加密的文本文件。我想使用 AWS Glue 将此数据加载到 RDS Aurora。
我创建了一个爬虫来映射我的加密文本文件的架构,但爬虫没有创建任何 table。可以肯定的是,我抓取了同一个文件,但在解密版本上并且它有效。
我的问题是:
- AWS Glue 不能直接从 S3 提取加密文件吗?
- 如果是,请告诉我我缺少什么?
- 如果不是,将加密数据提取到 AWS Glue 中而根本不解密的最佳方法是什么。 (我的数据高度敏感)
提前致谢。
AWS Glue 无法提取使用 client side encryption
加密的加密文件。
但是,如果您使用 server side encryption
将文件上传到 S3 数据存储,只要您向允许爬虫 运行 并访问您的 Amazon S3 数据存储的角色授予策略访问权限,AWS glue 就可以提取此数据.
这是我定义的策略:
{
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
"Action": [
"kms:Decrypt"
],
"Resource": [
"arn:aws:kms:us-east-1:<Your Account Number>:key/<Your Key ID>"
]
}
}
因此,诀窍是为您的数据启用 server side encryption
而不是 client side encryption
。