GCS中如何使用trino获取前缀路径

Question

我使用带有 Hive+GCS 连接器的 Trino 来访问我在 GCS 中的 JSON 文件。如果我将外部 table 指向带有 JSON 的路径，它会起作用，例如：

create table transactions(
    date DATE,
    transaction1 DOUBLE,
    TransactionType VARCHAR(255)
) WITH (
    external_location = 'gs://bucket/transaction_type/date',
    format = 'PARQUET'
);

但我只想传递到 transaction_type，它会递归地访问我在日期“文件夹”中的文件。我知道 GCS 以不同于文件夹的方式处理存储桶内的所有内容，我相信这就是问题所在，但我不知道如何解决这个问题。

有没有人做过类似的事情？

Answer 1

您应该将 hive.recursive-directories 作为目录文件中的参数传递 hive.properties

GCS中如何使用trino获取前缀路径

How to use trino to get prefix path in GCS

presto

trino

gcs