Google Python API 的 Big Query 视图限制

Question

我正在尝试使用 Python API 为 Google 大查询创建视图。我有免费试用版和所有身份验证设置。每当我使用 API 创建视图时，视图中只会生成 25 行，但是当我从大型查询网站创建视图时，所有行都会显示 (3006)。使用 API 时行数是否有限制，或者我的代码中是否存在问题。这是我正在使用的查询（在 API 和网络中也使用过）：

query = "SELECT DISTINCT author, subreddit FROM `%s` WHERE subreddit = 'The_Donald'" %(TABLE+DATES[7])

Answer 1

我刚刚使用以下代码创建了一个带有 Python Client Libraries 的视图：

from google.cloud import bigquery
client = bigquery.Client()
project = 'bigquery-samples'
source_dataset_id = 'reddit'
source_table_id = 'full'
shared_dataset_ref = client.dataset('my_dataset')
view_ref = shared_dataset_ref.table('my_shared_view')
view = bigquery.Table(view_ref)
sql_template = (
    'SELECT DISTINCT author,subreddit_id FROM `{}.{}.{}` WHERE subreddit_id LIKE "%t5%"')
view.view_query = sql_template.format(
    project, source_dataset_id, source_table_id)
view = client.create_table(view)  # API request

print('Successfully created view at {}'.format(view.full_table_id))

我的视图有 1359016 行，通过以下操作验证：

SELECT COUNT(*) FROM `my_dataset.my_shared_view`

希望对您有所帮助。

Answer 2

以下是我尝试过的简单代码，并且运行良好。请尝试让我知道。虽然我用的是付费版。

from google.cloud import bigquery
client = bigquery.Client(project=dest_project)
query = "SELECT DISTINCT author, subreddit FROM `%s` WHERE subreddit = 'The_Donald'"%(TABLE+DATES[7])
job = client.query(query)
job.result()

Google Python API 的 Big Query 视图限制

Google Big Query view limitation on Python API

google-bigquery

google-cloud-platform

google-python-api