google Spark-BigQuery-Connector 如何利用 BigQuery 存储 API?
How does google Spark-BigQuery-Connector leverage BigQuery Storage API?
根据https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery the connector uses BigQuery Storage API to read data using gRPC. However, I couldn't find any Storage API/gRPC usage in the source code here: https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala
我的问题是:
1. 谁能告诉我使用存储 API 和 gprc 调用的源代码?
2. Dataset<Row> df = session.read().format("bigquery").load()
是否通过 GBQ 存储 API 工作?如果没有,如何使用 BigQuery 存储从 GBQ 读取到 Spark API?
Spark BigQuery 连接器仅使用 BigQuery 存储 API 进行读取,您可以看到它 here,例如。
是的,Dataset<Row> df = session.read().format("bigquery").load()
通过 BigQuery 存储工作 API。
根据https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery the connector uses BigQuery Storage API to read data using gRPC. However, I couldn't find any Storage API/gRPC usage in the source code here: https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala
我的问题是:
1. 谁能告诉我使用存储 API 和 gprc 调用的源代码?
2. Dataset<Row> df = session.read().format("bigquery").load()
是否通过 GBQ 存储 API 工作?如果没有,如何使用 BigQuery 存储从 GBQ 读取到 Spark API?
Spark BigQuery 连接器仅使用 BigQuery 存储 API 进行读取,您可以看到它 here,例如。
是的,
Dataset<Row> df = session.read().format("bigquery").load()
通过 BigQuery 存储工作 API。