其他 google 个云服务帐户的 Cloud Composer 身份验证
Cloud composer authentication of other google cloud service accounts
试图进行一些数据工程的科学家。
我目前正在尝试将生成本地 csv 文件的手动执行的本地 python 脚本转换为云作曲家计划的 API 调用,从而将数据存储到 google 云存储和合并到 bigquery 表中。
如果我的 google Cloud Composer 帐户触发了所有这些步骤:google 搜索控制台 API(当前凭据使用搜索控制台库序列化并且我有 .json 和 .dat 文件)、云存储和 bigquery,我是否能够避免身份验证步骤,因为整个事情都由同一个 google 帐户控制?
或者我是否仍需要以网站管理员和 bigquery 身份验证和列出范围
您需要使用服务帐户设置身份验证。当您 运行 Cloud Composer 时,它使用服务帐户(您在创建 Cloud Composer 实例时选择)。使用此服务帐户的所有工作负载 运行 以及为了访问不同的 GCP 服务,您需要确保该服务帐户对这些服务具有适当的访问权限。如果需要并且设置正确,它甚至可以模拟用户帐户。
可在此处找到所有详细信息和分步说明:https://cloud.google.com/composer/docs/how-to/authentication
试图进行一些数据工程的科学家。
我目前正在尝试将生成本地 csv 文件的手动执行的本地 python 脚本转换为云作曲家计划的 API 调用,从而将数据存储到 google 云存储和合并到 bigquery 表中。
如果我的 google Cloud Composer 帐户触发了所有这些步骤:google 搜索控制台 API(当前凭据使用搜索控制台库序列化并且我有 .json 和 .dat 文件)、云存储和 bigquery,我是否能够避免身份验证步骤,因为整个事情都由同一个 google 帐户控制?
或者我是否仍需要以网站管理员和 bigquery 身份验证和列出范围
您需要使用服务帐户设置身份验证。当您 运行 Cloud Composer 时,它使用服务帐户(您在创建 Cloud Composer 实例时选择)。使用此服务帐户的所有工作负载 运行 以及为了访问不同的 GCP 服务,您需要确保该服务帐户对这些服务具有适当的访问权限。如果需要并且设置正确,它甚至可以模拟用户帐户。
可在此处找到所有详细信息和分步说明:https://cloud.google.com/composer/docs/how-to/authentication