读取马赛克决策中超过 100 列的 table 时出现连接超时错误
Connection Timeout Error while reading the table having more than 100 columns in Mosaic Decisions
我正在通过 snowflake reader 节点读取 table columns/attributes(大约 50-80),table 正在阅读马赛克决定 Canvas。但是当table的属性增加(约385列)时,Mosaic reader节点失效。作为一种解决方法,我尝试将 where 子句与 1=2 一起使用,在这种情况下,它会拉动 Table 的结构。但是当我试图通过对查询应用限制(只有 10 条记录)来读取记录时,它会抛出连接超时错误。
甚至我在阅读(大约 300 列)时也遇到了类似的问题 table 我在 Mosaic 中可用的 输入参数 的帮助下解决了这个问题。在您的情况下,您必须将复制字段变量更改为在 运行 时间查询中使用的 1=1
。
可以参考下面的步骤来实现这个-
创建一个参数(例如 copy_variable
),它将包含复制字段变量的默认值 2
在 reader 节点中,将 SQL 写入 1 = $(copy_variable)
因此在验证时,它与 1=2
条件相同,应该可以正常验证。
验证并生成架构后,将 $(copy_variable)
的默认值更新为 1
,以便在 运行ning 期间,您仍将获得所有记录。
我正在通过 snowflake reader 节点读取 table columns/attributes(大约 50-80),table 正在阅读马赛克决定 Canvas。但是当table的属性增加(约385列)时,Mosaic reader节点失效。作为一种解决方法,我尝试将 where 子句与 1=2 一起使用,在这种情况下,它会拉动 Table 的结构。但是当我试图通过对查询应用限制(只有 10 条记录)来读取记录时,它会抛出连接超时错误。
甚至我在阅读(大约 300 列)时也遇到了类似的问题 table 我在 Mosaic 中可用的 输入参数 的帮助下解决了这个问题。在您的情况下,您必须将复制字段变量更改为在 运行 时间查询中使用的 1=1
。
可以参考下面的步骤来实现这个-
创建一个参数(例如
copy_variable
),它将包含复制字段变量的默认值2
在 reader 节点中,将 SQL 写入
1 = $(copy_variable)
因此在验证时,它与1=2
条件相同,应该可以正常验证。验证并生成架构后,将
$(copy_variable)
的默认值更新为1
,以便在 运行ning 期间,您仍将获得所有记录。