加载操作中的 GCP Bigquery 错误：字节丢失

Question

我是 Google Cloud Platform 的新手，我正在尝试从存储在 GCP 存储桶中的约 60,000 csv.gz 个文件在 bigquery 中创建一个 table。

为此，我打开了 Cloud Shell，并正在尝试以下操作：

$ bq --location=US mk my_data
$ bq --location=US \
     load --null_marker='' \
     --source_format=CSV --autodetect \
     my_data.my_table gs://my_bucket/*.csv.gz

这会引发以下错误：

BigQuery error in load operation: Error processing job 'my_job:bqjob_r3eede45779dc9a51_0000017529110a63_1': 
Error while reading data, error message:
FAILED_PRECONDITION: Invalid gzip file: bytes are missing

我不知道如何在加载文件时找到哪个文件可能有问题。我检查了几个文件，它们都是有效的 .gz 文件，我可以在解压后用任何 csv reader 打开，但我不知道如何检查所有文件以找一个有问题的。

在此先感谢您的帮助！

Answer 1

可能存在不包含任何数据的 .gz 文件。您可能想编写一个脚本来过滤 .gz 文件是否有效。

此示例 bash 脚本将对 .gz 文件进行目录循环，如果它们为空则将其删除。

for f in dir/*
do
    if [[ $(gunzip -c $f | head -c1 | wc -c) == "0" ]] 
    then
        do_file_creation
    fi
done

Answer 2

要遍历您的存储桶，您可以使用 eval 命令

#!/bin/bash
FILES="gsutil ls gs://YOUR_BUCKET"
RESULTS=$(eval $FILES)
for f in $RESULTS
do
  read="gsutil cat $f | zcat | wc -c"
  if [[ $(eval $read) == "0" ]]
    then
        #<Process it, Print name or Delete from bucket like below>
        delete="gsutil rm $f"
        eval $delete
    fi
done

另一种选择是 download all your files locally，如果可能，然后从那里开始处理：

gsutil -m cp -R gs://YOUR_BUCKET .

加载操作中的 GCP Bigquery 错误：字节丢失

GCP Bigquery Error in Load Operation: Bytes are Missing

google-cloud-platform

google-bigquery

gzip

bq