我可以使用 Flink 的文件系统连接器作为查找表吗?
Can I use Flink's filesystem connector as lookup tables?
Yarn 上的 Flink 1.13.2(Flink SQL)。
有点困惑 - 我发现了两种(据我所知)不同规格的文件系统连接器(Ververica.com vs ci.apache.org):
https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/table/overview/#supported-connectors — 文件系统是“有界和无界扫描,查找”
https://docs.ververica.com/user_guide/sql_development/connectors.html#packaged-connectors — 只有 JDBC 标记为可用于查找。
我可以使用文件系统连接器 (csv) 创建查找(维度)table 来丰富 Kafka 事件 table 吗?如果是 - 如何使用 Flink SQL?
(我已经尝试使用 FOR SYSTEM_TIME AS OF a.event_datetime
进行简单的左连接 - 它在具有少量 Kafka 事件的测试环境中工作,但在生产中我得到 GC overhead limit exceeded
错误。我想那是因为不是向工作节点广播小型 csv tables。在 Spark 中,我曾经使用相关提示来解决这些类型的问题。)
文件系统连接器不应用作查找,因为查找访问需要索引访问。我们应该为此更新文档。
lookup(dimension)table需要实现LookupTableSource接口,目前Flink 1.3版本只实现了hbase,jdbc,hive
Yarn 上的 Flink 1.13.2(Flink SQL)。
有点困惑 - 我发现了两种(据我所知)不同规格的文件系统连接器(Ververica.com vs ci.apache.org):
https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/table/overview/#supported-connectors — 文件系统是“有界和无界扫描,查找”
https://docs.ververica.com/user_guide/sql_development/connectors.html#packaged-connectors — 只有 JDBC 标记为可用于查找。
我可以使用文件系统连接器 (csv) 创建查找(维度)table 来丰富 Kafka 事件 table 吗?如果是 - 如何使用 Flink SQL?
(我已经尝试使用 FOR SYSTEM_TIME AS OF a.event_datetime
进行简单的左连接 - 它在具有少量 Kafka 事件的测试环境中工作,但在生产中我得到 GC overhead limit exceeded
错误。我想那是因为不是向工作节点广播小型 csv tables。在 Spark 中,我曾经使用相关提示来解决这些类型的问题。)
文件系统连接器不应用作查找,因为查找访问需要索引访问。我们应该为此更新文档。
lookup(dimension)table需要实现LookupTableSource接口,目前Flink 1.3版本只实现了hbase,jdbc,hive