Google BigQuery："Invalid source format CSV" 从 Datalab 加载数据时

Question

我在 Google Cloud Storage 中存储了一些文件，我运行来自 Google Cloud Datalab 笔记本的以下内容：

path = r'data/path/to/csv/orders_1234'
orders_path = os.path.join(bucket_path, path)
print(orders_path)
dest = 'project_name:dataset_name.orders'
%bigquery load -m append -f csv -d '\t' -S $orders_path -D $dest

但是在运行运行此代码时出现错误 无效源格式 CSV。你知道我在这里做错了什么吗？

谢谢！

Answer 1

请尝试以下 working example taken from the datalab sample notebooks 存储库。

import datalab.bigquery as bq
import datalab.storage as storage
import pandas as pd
from StringIO import StringIO

# Create the schema, conveniently using a DataFrame example.
%storage read --object gs://cloud-datalab-samples/cars.csv --variable cars
df = pd.read_csv(StringIO(cars))
schema = bq.Schema.from_dataframe(df)

# Create the dataset
bq.Dataset('sample').create()

# Create the table
sample_table = bq.Table('sample.cars').create(schema = schema, overwrite = True)

# Load csv file from GCS to Google BigQuery
sample_table.load('gs://cloud-datalab-samples/cars.csv', mode='append',
                  source_format = 'csv', csv_options=bq.CSVOptions(skip_leading_rows = 1))

请注意：如果您是运行旧版本的数据实验室，您可能必须使用 import gcp.bigquery as bq 而不是 import datalab.bigquery as bq

您可以在 BigQuery console 的“作业历史记录”页面上看到其他错误消息信息。

Google BigQuery："Invalid source format CSV" 从 Datalab 加载数据时

Google BigQuery: "Invalid source format CSV" when loading data from Datalab

google-cloud-storage

google-bigquery

google-cloud-datalab