将 Google Pub/sub 主题订阅到 Cloud Storage Avro 文件时出现 "quota exceeded" 错误 - 在初学者教程中?
Subscribe Google Pub/sub topic to Cloud Storage Avro file gives me "quota exceeded" error - in a beginners tutorial?
我正在完成 Google 的 Firestore to BigQuery pipeline tutorual,我已经到了第 10 步,我应该在其中设置从我的主题导出到保存在云存储上的 avro 文件。
但是,当我尝试 运行 作业时,在完全按照教程中提到的操作后,我收到一条错误消息,告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中,我注意到它显示 1230/818 disk GB
。这是否意味着该作业需要 1230 GB 磁盘 space?目前,Firestore 中只有 100 个文档?这对我来说似乎是错误的?
我所有的云存储桶都是空的:
但是当我查看我在 page 9 上设置的第一个导出作业(Pubsub Topic to BigQuery)中使用的资源时,我更加困惑。
它似乎正在使用疯狂数量的资源
Current vCPUs
4
Total vCPU time
2.511 vCPU hr
Current memory
15 GB
Total memory time
9.417 GB hr
Current PD
1.2 TB
Total PD time
772.181 GB hr
Current SSD PD
0 B
Total SSD PD time
0 GB hr
这是真的吗,还是我做错了什么,因为所有这些资源都被使用了?我的意思是,根本没有 activity,这只是订阅,对吧?
在幕后,该步骤正在调用 Cloud Dataflow 模板(准确地说是 this 模板)以从 Pub/Sub 读取并写入 GCS。反过来,Cloud Dataflow 正在为其工作池使用 GCE 实例 (VM)。 Cloud Dataflow 请求的资源过多(需要磁盘、内存、vCPU 等的 GCE 实例)并且正在影响您项目的 limit/quota。
在 optional parameters
下配置作业时,您可以覆盖默认的 worker 数量(尝试从 1 开始)并且还可以设置最小的 VM 类型(n1-standard-1)。这也应该为您节省一些钱。奖金!
我正在完成 Google 的 Firestore to BigQuery pipeline tutorual,我已经到了第 10 步,我应该在其中设置从我的主题导出到保存在云存储上的 avro 文件。
但是,当我尝试 运行 作业时,在完全按照教程中提到的操作后,我收到一条错误消息,告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中,我注意到它显示 1230/818 disk GB
。这是否意味着该作业需要 1230 GB 磁盘 space?目前,Firestore 中只有 100 个文档?这对我来说似乎是错误的?
但是当我查看我在 page 9 上设置的第一个导出作业(Pubsub Topic to BigQuery)中使用的资源时,我更加困惑。
它似乎正在使用疯狂数量的资源
Current vCPUs
4
Total vCPU time
2.511 vCPU hr
Current memory
15 GB
Total memory time
9.417 GB hr
Current PD
1.2 TB
Total PD time
772.181 GB hr
Current SSD PD
0 B
Total SSD PD time
0 GB hr
这是真的吗,还是我做错了什么,因为所有这些资源都被使用了?我的意思是,根本没有 activity,这只是订阅,对吧?
在幕后,该步骤正在调用 Cloud Dataflow 模板(准确地说是 this 模板)以从 Pub/Sub 读取并写入 GCS。反过来,Cloud Dataflow 正在为其工作池使用 GCE 实例 (VM)。 Cloud Dataflow 请求的资源过多(需要磁盘、内存、vCPU 等的 GCE 实例)并且正在影响您项目的 limit/quota。
在 optional parameters
下配置作业时,您可以覆盖默认的 worker 数量(尝试从 1 开始)并且还可以设置最小的 VM 类型(n1-standard-1)。这也应该为您节省一些钱。奖金!