使用 presto 查询本地镶木地板
Query local parquet using presto
使用 spark 和 drill,我能够查询本地镶木地板文件。
presto 是否提供相同的功能?
换句话说,是否可以使用 presto 查询本地 parquet 文件而不通过 HDFS 或 hive?
根据我的理解,Presto 的 localfile 仅适用于 http_request_logs(这就是为什么他们有设置:presto-logs.http-request-log.location
)。我无法使用 Presto 查询本地镶木地板数据。
我能够使用 Apache Drill 查询数据。开箱即用,您可以使用本地文件系统和 运行 常规 SQL 切换出以下目录:
# Start with /bin/drill-embedded
0: jdbc:drill:zk=local> select * from dfs.`/somedir/withparquetfiles/`
我没有找到一个直接的方法来做到这一点。这已经很长时间了,我不确定目前是否还有其他选择。
我所做的是;创建一个自定义的配置单元元存储,该存储将 return 模式、带有我的镶木地板文件路径的表。在 presto 中,使用该元存储对其进行配置并且工作得很好。
使用 spark 和 drill,我能够查询本地镶木地板文件。
presto 是否提供相同的功能? 换句话说,是否可以使用 presto 查询本地 parquet 文件而不通过 HDFS 或 hive?
根据我的理解,Presto 的 localfile 仅适用于 http_request_logs(这就是为什么他们有设置:presto-logs.http-request-log.location
)。我无法使用 Presto 查询本地镶木地板数据。
我能够使用 Apache Drill 查询数据。开箱即用,您可以使用本地文件系统和 运行 常规 SQL 切换出以下目录:
# Start with /bin/drill-embedded
0: jdbc:drill:zk=local> select * from dfs.`/somedir/withparquetfiles/`
我没有找到一个直接的方法来做到这一点。这已经很长时间了,我不确定目前是否还有其他选择。
我所做的是;创建一个自定义的配置单元元存储,该存储将 return 模式、带有我的镶木地板文件路径的表。在 presto 中,使用该元存储对其进行配置并且工作得很好。