Apache Iceberg table 格式到 ADLS / azure 数据湖
Apache Iceberg table format to ADLS / azure data lake
我正在尝试寻找一些集成以在 adls/azure 数据湖上使用 iceberg table 格式来执行 crud 操作。是否可以不使用像 spark 这样的任何其他计算引擎来在 azure 上使用它。我认为 aws s3 支持这个用例。对此有什么想法。
spark 可以将 Iceberg 与 abfs 连接器、hdfs 甚至本地文件一起使用。你只需要类路径和身份验证权限
派对有点晚了，但 Starburst Galaxy 在任何 Azure 区域部署了 Trino，并且有一个支持 Hive（parquet、orc、csv 等）、Delta Lake 和 Iceberg 的 Great Lakes 连接器。 https://blog.starburst.io/introducing-great-lakes-connectivity-for-starburst-galaxy
我正在尝试寻找一些集成以在 adls/azure 数据湖上使用 iceberg table 格式来执行 crud 操作。是否可以不使用像 spark 这样的任何其他计算引擎来在 azure 上使用它。我认为 aws s3 支持这个用例。对此有什么想法。
spark 可以将 Iceberg 与 abfs 连接器、hdfs 甚至本地文件一起使用。你只需要类路径和身份验证权限
派对有点晚了，但 Starburst Galaxy 在任何 Azure 区域部署了 Trino，并且有一个支持 Hive（parquet、orc、csv 等）、Delta Lake 和 Iceberg 的 Great Lakes 连接器。 https://blog.starburst.io/introducing-great-lakes-connectivity-for-starburst-galaxy