将流数据从 API 提取到 Google 云中的 Bigquery
ingest streaming data from API to Bigquery in Google Cloud
我想从 api 流中提取数据到 bigquery。
我想最好的选择是使用云数据流将这些数据提取到 bigquery 中，但我不知道如何从 API 中提取数据：https://developer.tomtom.com/traffic-api
我能否在同一个数据流管道中提取数据，或者我必须创建一个实例并将数据从那里提取到云端PUB/SUB，然后使用数据流将此数据移动到 bigquery？
我的假设是您有一个 api，您希望从中将数据发送到 bigquery。由于您不能直接流式传输 API，因此您必须按批次间隔进行，根据 API 限制，它可以是每小时或每分钟一次。
您可以从这个 API 中读取数据，然后将数据泵入 PUB/SUB，然后使用数据流将数据泵入 BQ。或者您可以直接使用该作业将数据泵送到 BQ。这取决于您的数据 volume/backup 战略和业务要求。
我想从 api 流中提取数据到 bigquery。
我想最好的选择是使用云数据流将这些数据提取到 bigquery 中，但我不知道如何从 API 中提取数据：https://developer.tomtom.com/traffic-api
我能否在同一个数据流管道中提取数据，或者我必须创建一个实例并将数据从那里提取到云端PUB/SUB，然后使用数据流将此数据移动到 bigquery？
我的假设是您有一个 api，您希望从中将数据发送到 bigquery。由于您不能直接流式传输 API，因此您必须按批次间隔进行，根据 API 限制，它可以是每小时或每分钟一次。
您可以从这个 API 中读取数据，然后将数据泵入 PUB/SUB，然后使用数据流将数据泵入 BQ。或者您可以直接使用该作业将数据泵送到 BQ。这取决于您的数据 volume/backup 战略和业务要求。