将 JSON 转换为 Parquet 并将对象分类到文件夹中
Converting JSON to Parquet and Categorizing Objects Into Folder
我对 Snowflake 的体验为 0，请耐心等待。目前，我们有一个系统，我们使用存储在 S3 存储桶（我们称之为存储桶 A）中的 AWS Kinesis 从 iWatch 以 JSON 的形式收集陀螺仪和加速度计数据，然后我们使用 AWS Glue 将这些 JSON 文件转换为镶木地板文件，并根据其各自的传感器划分数据，并将数据存储在 2 个不同的文件夹（加速度计和陀螺仪文件夹）中。这些转换后的数据存储在一个新的桶中（我们称之为桶 B）。现在，是否有可能让 Snowflake 完全执行 AWS Glue 正在做的事情，并将转换和转换后的数据存储在 Snowflake 中（删除存储桶 B）？谢谢
为了获得完整的答案：
- 是的，Snowflake 存储数据。
- 是的，Snowflake 将数据转换为
一种类似于 Parquet 的格式，但与 Parquet 不同的是，您只能
使用 Snowflake 访问它。
- 是的，Snowflake 将取代 Bucket B。
- 是的，Snowflake Tasks 或 Snowpipe 可以替代 AWS Glue。
看看https://docs.snowflake.com/en/user-guide/data-load-s3.html
我对 Snowflake 的体验为 0，请耐心等待。目前，我们有一个系统，我们使用存储在 S3 存储桶（我们称之为存储桶 A）中的 AWS Kinesis 从 iWatch 以 JSON 的形式收集陀螺仪和加速度计数据，然后我们使用 AWS Glue 将这些 JSON 文件转换为镶木地板文件，并根据其各自的传感器划分数据，并将数据存储在 2 个不同的文件夹（加速度计和陀螺仪文件夹）中。这些转换后的数据存储在一个新的桶中（我们称之为桶 B）。现在，是否有可能让 Snowflake 完全执行 AWS Glue 正在做的事情，并将转换和转换后的数据存储在 Snowflake 中（删除存储桶 B）？谢谢
为了获得完整的答案：
- 是的，Snowflake 存储数据。
- 是的，Snowflake 将数据转换为 一种类似于 Parquet 的格式，但与 Parquet 不同的是，您只能 使用 Snowflake 访问它。
- 是的，Snowflake 将取代 Bucket B。
- 是的，Snowflake Tasks 或 Snowpipe 可以替代 AWS Glue。
看看https://docs.snowflake.com/en/user-guide/data-load-s3.html