找不到用于 celery-k8s 部署的 AWS 凭据

Question

我正在尝试运行 dagster 使用 celery-k8s 并使用 examples/celery-k8s 作为开始。运行从游乐场连接管道后，我得到

Initialization of resources [s3, io_manager] failed.
botocore.exceptions.NoCredentialsError: Unable to locate credentials

我已经按照文档中的说明在环境变量中配置了 aws 凭据

deployments:
    - name: "user-code-deployment-test"
      image:
        repository: "somasays/dagster-usercode-example"
        tag: "0.5"
        pullPolicy: Always
      dagsterApiGrpcArgs:
        - "-f"
        - "/workspace/repo.py"
      port: 3030
      env:
        AWS_ACCESS_KEY_ID: AAAAAAAAAAAAAAAAAAAAAAAAA
        AWS_SECRET_ACCESS_KEY: qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq
        AWS_DEFAULT_REGION: eu-central-1

我还可以看到这些值是在 pod 的 env 变量中设置的，也可以在 pip install awscli 和 aws s3 ls 之后访问 s3 位置看到作业 pod 下面的屏幕截图但是抛出 Unable to locate credentials

请帮助

Answer 1

部署配置适用于用户代码服务器。同时，芹菜执行器运行在单独的 kubernetes 作业中存储您的管道代码。要在那里提供您的秘密，您需要在管道运行配置中配置 celery-k8s 执行程序的 env_secrets 字段。

有关配置的详细信息，请参阅 https://github.com/dagster-io/dagster/blob/master/python_modules/libraries/dagster-k8s/dagster_k8s/job.py#L321-L327。

找不到用于 celery-k8s 部署的 AWS 凭据

AWS credentials not found for celery-k8s deployment

dagster