将一个组织下的所有项目下沉到一个bigtable中
Sink all projects under an organisation into a bigtable
我正在构建一种类似的方法来将所有日志导入 BigQuery 数据集。根据这个 https://dev.to/alvardev/gcp-cloud-logging-the-basis-45eh 我能够将项目日志详细信息带入相应的 BigQuery。但是我们如何将所有项目日志放入一个 Bigtable 中,例如,假设一个组织有 50 个项目,并且配置最少,我希望来自 50 个项目的所有日志作为合并的项目日志放在一个 Bigtable 下。
这在 GCP 中可行吗,有人可以帮我解决这个问题
目前,仅支持基于 documentation are Cloud Storage, Pub/Sub, BigQuery and another Cloud Logging Bucket . However I found this another approach where the architecture is: Cloud Logging -> Pub/Sub -> DataFlow -> BigTable 的目的地。
基本上,您将 create a sink and choose Pub/Sub topic as the destination then from there, you can stream your data from Pub/Sub to Bigtable using Dataflow. You can check this SO answer 用作如何将数据从 Pub/Sub 流式传输到 BT 的参考。
我正在构建一种类似的方法来将所有日志导入 BigQuery 数据集。根据这个 https://dev.to/alvardev/gcp-cloud-logging-the-basis-45eh 我能够将项目日志详细信息带入相应的 BigQuery。但是我们如何将所有项目日志放入一个 Bigtable 中,例如,假设一个组织有 50 个项目,并且配置最少,我希望来自 50 个项目的所有日志作为合并的项目日志放在一个 Bigtable 下。
这在 GCP 中可行吗,有人可以帮我解决这个问题
目前,仅支持基于 documentation are Cloud Storage, Pub/Sub, BigQuery and another Cloud Logging Bucket . However I found this another approach where the architecture is: Cloud Logging -> Pub/Sub -> DataFlow -> BigTable 的目的地。
基本上,您将 create a sink and choose Pub/Sub topic as the destination then from there, you can stream your data from Pub/Sub to Bigtable using Dataflow. You can check this SO answer 用作如何将数据从 Pub/Sub 流式传输到 BT 的参考。