Google数据融合执行错误"INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0."

Question

我正在尝试使用 Google Data Fusion 免费版将一个简单的 CSV 文件从 GCS 加载到 BQ。管道因错误而失败。它显示

com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0.
    at com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:49) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na]
    at com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable.java:97) ~[na:na]
    at com.google.api.core.ApiFutures.onFailure(ApiFutures.java:68) ~[na:na]

Mapreduce 和 Spark 执行管道重复出现相同的错误。感谢解决此问题的任何帮助。谢谢

问候卡

Answer 1

这意味着请求的总计算磁盘将使项目超出项目的 GCE 配额。既有项目范围的配额，也有区域配额。您可以在此处查看该文档：https://cloud.google.com/compute/quotas

要解决此问题，您应该增加 GCP 项目中的配额。

Answer 2

@Ksign 对类似的问题提供了以下答案，可见.

与DISKS_TOTAL_GB相关的具体配额是Persistent disk standard (GB)，如您在Disk quotas documentation中所见。

您可以在项目的 Cloud Console 中按区域编辑此配额，方法是转到 IAM 和管理页面 => 配额 和 select 只有指标 永久性磁盘标准 (GB).

Google数据融合执行错误"INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0."

Google data fusion Execution error "INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0."

google-cloud-platform

data-processing

data-ingestion

google-cloud-data-fusion

data-pipeline