读取马赛克决策中超过 100 列的 table 时出现连接超时错误

Connection Timeout Error while reading the table having more than 100 columns in Mosaic Decisions

我正在通过 snowflake reader 节点读取 table columns/attributes(大约 50-80),table 正在阅读马赛克决定 Canvas。但是当table的属性增加(约385列)时,Mosaic reader节点失效。作为一种解决方法,我尝试将 where 子句与 1=2 一起使用,在这种情况下,它会拉动 Table 的结构。但是当我试图通过对查询应用限制(只有 10 条记录)来读取记录时,它会抛出连接超时错误。

甚至我在阅读(大约 300 列)时也遇到了类似的问题 table 我在 Mosaic 中可用的 输入参数 的帮助下解决了这个问题。在您的情况下,您必须将复制字段变量更改为在 运行 时间查询中使用的 1=1

可以参考下面的步骤来实现这个-

  1. 创建一个参数(例如 copy_variable),它将包含复制字段变量的默认值 2

  2. 在 reader 节点中,将 SQL 写入 1 = $(copy_variable) 因此在验证时,它与 1=2 条件相同,应该可以正常验证。

  3. 验证并生成架构后,将 $(copy_variable) 的默认值更新为 1,以便在 运行ning 期间,您仍将获得所有记录。