从 BigQuery 导出 Firebase 事件
Firebase events export from BigQuery
是否有将 firebase 事件导出到 Google 云存储（例如 Parquet 格式）的推荐方法？
如果我将数据导出到 BigQuery，将数据一致推送到 GCP Cloud Storage 的最佳方式是什么？
原因是我在 Cloud Storage 中有处理 parquet 文件的 daraproc 作业，我希望我的 firebase 数据能够以相同的方式访问。
目前不支持直接从 BigQuery 导出数据作为 parquet 文件。
BigQuery 现在支持三种格式，
- CSV
- 阿芙罗
- JSON
您可以选择使用 Apache Beam 和 Google Cloud Dataflow 将数据转换为 parquet 文件。从 BigQuery 读取数据后使用 ParquetIO 转换数据并将其写入 Cloud Storage。
参考
导出数据 (BigQuery)
https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types
ParquetIO（Apache 光束）
https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html
是否有将 firebase 事件导出到 Google 云存储（例如 Parquet 格式）的推荐方法？ 如果我将数据导出到 BigQuery，将数据一致推送到 GCP Cloud Storage 的最佳方式是什么？
原因是我在 Cloud Storage 中有处理 parquet 文件的 daraproc 作业，我希望我的 firebase 数据能够以相同的方式访问。
目前不支持直接从 BigQuery 导出数据作为 parquet 文件。
BigQuery 现在支持三种格式，
- CSV
- 阿芙罗
- JSON
您可以选择使用 Apache Beam 和 Google Cloud Dataflow 将数据转换为 parquet 文件。从 BigQuery 读取数据后使用 ParquetIO 转换数据并将其写入 Cloud Storage。
参考
导出数据 (BigQuery)
https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types
ParquetIO（Apache 光束） https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html