我们是否需要为 google 云数据流作业的暂存位置付费?
Do we get billed for staging location for a google cloud dataflow job?
Google Cloud Dataflow 需要暂存位置来存储我的数据流作业的临时文件。
到目前为止,我们一直在执行不需要太多第三方作业的作业。现在我们想执行一个有很多第三方依赖的工作。因此将在 运行 上载的文件增加了。
我们是否也为此暂存地点收费?
对于每个作业执行,Dataflow 在暂存位置是否有多个 jar 副本?
是的,您会根据正常 GCS billing rates.
为 GCS 暂存位置中的文件付费
Dataflow 将在上传文件之前检查暂存位置中的文件副本。 Dataflow 使用文件内容的哈希值来验证暂存位置中的文件内容是否与将要上传的内容相匹配。如果找到匹配文件,Dataflow 将使用该文件。因此,如果多个作业使用相同的暂存位置和相同的 jar,它们将重用 GCS 中的现有文件而不创建新版本。
Google Cloud Dataflow 需要暂存位置来存储我的数据流作业的临时文件。
到目前为止,我们一直在执行不需要太多第三方作业的作业。现在我们想执行一个有很多第三方依赖的工作。因此将在 运行 上载的文件增加了。
我们是否也为此暂存地点收费? 对于每个作业执行,Dataflow 在暂存位置是否有多个 jar 副本?
是的,您会根据正常 GCS billing rates.
为 GCS 暂存位置中的文件付费Dataflow 将在上传文件之前检查暂存位置中的文件副本。 Dataflow 使用文件内容的哈希值来验证暂存位置中的文件内容是否与将要上传的内容相匹配。如果找到匹配文件,Dataflow 将使用该文件。因此,如果多个作业使用相同的暂存位置和相同的 jar,它们将重用 GCS 中的现有文件而不创建新版本。