AWS Data Pipeline 中 EC2 资源的 AWS IAM 设置
AWS IAM Setup for EC2 Resource in AWS Data Pipeline
我在通过 Shell 命令 Activity.
在 EC2 实例上将 AWS Data Pipeline 获取到 运行 时遇到问题
我一直在逐步遵循此处找到的指南：https://medium.com/@SarwatFatimaM/data-scientists-guide-setting-up-aws-datapipeline-for-running-python-etl-scripts-using-c6c8fa4de70d
我 运行 遇到的主要问题是管道将挂起 WAITING_FOR_RUNNER 状态。
我已经确认我的 python 脚本和 .bat（必须从 .sh 更改，因为我使用的是 windows ec2）运行 在所需的 Ec2 实例中。然而，据我所知，这个问题是我从 Datapipline Architect 内部收到的警告的结果：
Errors/Warnings
Object:DefaultResource1
WARNING: Could not validate S3 Access for role. Please ensure role ('DataPipelineDefaultRole') has s3:Get*, s3:List*, s3:Put* and sts:AssumeRole permissions for DataPipeline.
我尝试编辑 IAM 角色，使 DataPipelineDefaultRole 和 DataPipelineDefaultResourceRole 都可以访问 AmazonEc2FullAccess、AmazonS3FullAccess、AWSDataPipelineRole、AWSDataPipeline_FullAccess 策略，并尝试此处显示的建议内联策略：
AWS Data Pipeline: Issue with permissions S3 Access for IAM role
这里 https://forums.aws.amazon.com/thread.jspa?threadID=241048.
我已经让这些政策搁置了几个小时，并且我已经重建了几次管道，但我仍然不断收到那个特定的警告。你有什么想法吗？
根据下方 AWS 上的 AWS Data Pipeline 文档，自定义 AMI 必须安装 Linux。因此，目前无法在 Windows EC2 上完成，必须在 Linux EC2 上完成。
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-custom-ami.html
我在通过 Shell 命令 Activity.
在 EC2 实例上将 AWS Data Pipeline 获取到 运行 时遇到问题我一直在逐步遵循此处找到的指南：https://medium.com/@SarwatFatimaM/data-scientists-guide-setting-up-aws-datapipeline-for-running-python-etl-scripts-using-c6c8fa4de70d
我 运行 遇到的主要问题是管道将挂起 WAITING_FOR_RUNNER 状态。
我已经确认我的 python 脚本和 .bat（必须从 .sh 更改，因为我使用的是 windows ec2）运行 在所需的 Ec2 实例中。然而，据我所知，这个问题是我从 Datapipline Architect 内部收到的警告的结果：
Errors/Warnings
Object:DefaultResource1
WARNING: Could not validate S3 Access for role. Please ensure role ('DataPipelineDefaultRole') has s3:Get*, s3:List*, s3:Put* and sts:AssumeRole permissions for DataPipeline.
我尝试编辑 IAM 角色，使 DataPipelineDefaultRole 和 DataPipelineDefaultResourceRole 都可以访问 AmazonEc2FullAccess、AmazonS3FullAccess、AWSDataPipelineRole、AWSDataPipeline_FullAccess 策略，并尝试此处显示的建议内联策略： AWS Data Pipeline: Issue with permissions S3 Access for IAM role 这里 https://forums.aws.amazon.com/thread.jspa?threadID=241048.
我已经让这些政策搁置了几个小时，并且我已经重建了几次管道，但我仍然不断收到那个特定的警告。你有什么想法吗？
根据下方 AWS 上的 AWS Data Pipeline 文档，自定义 AMI 必须安装 Linux。因此，目前无法在 Windows EC2 上完成，必须在 Linux EC2 上完成。
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-custom-ami.html