我可以使用 Flink 的文件系统连接器作为查找表吗?

Can I use Flink's filesystem connector as lookup tables?

Yarn 上的 Flink 1.13.2(Flink SQL)。

有点困惑 - 我发现了两种(据我所知)不同规格的文件系统连接器(Ververica.com vs ci.apache.org):

  1. https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/table/overview/#supported-connectors — 文件系统是“有界和无界扫描,查找

  2. https://docs.ververica.com/user_guide/sql_development/connectors.html#packaged-connectors — 只有 JDBC 标记为可用于查找。

我可以使用文件系统连接器 (csv) 创建查找(维度)table 来丰富 Kafka 事件 table 吗?如果是 - 如何使用 Flink SQL?

(我已经尝试使用 FOR SYSTEM_TIME AS OF a.event_datetime 进行简单的左连接 - 它在具有少量 Kafka 事件的测试环境中工作,但在生产中我得到 GC overhead limit exceeded 错误。我想那是因为不是向工作节点广播小型 csv tables。在 Spark 中,我曾经使用相关提示来解决这些类型的问题。)

文件系统连接器不应用作查找,因为查找访问需要索引访问。我们应该为此更新文档。

lookup(dimension)table需要实现LookupTableSource接口,目前Flink 1.3版本只实现了hbase,jdbc,hive