google Spark-BigQuery-Connector 如何利用 BigQuery 存储 API?

How does google Spark-BigQuery-Connector leverage BigQuery Storage API?

根据https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery the connector uses BigQuery Storage API to read data using gRPC. However, I couldn't find any Storage API/gRPC usage in the source code here: https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala

我的问题是: 1. 谁能告诉我使用存储 API 和 gprc 调用的源代码? 2. Dataset<Row> df = session.read().format("bigquery").load() 是否通过 GBQ 存储 API 工作?如果没有,如何使用 BigQuery 存储从 GBQ 读取到 Spark API?

  1. Spark BigQuery 连接器仅使用 BigQuery 存储 API 进行读取,您可以看到它 here,例如。

  2. 是的,Dataset<Row> df = session.read().format("bigquery").load() 通过 BigQuery 存储工作 API。