临时增加 Azure 数据资源管理器中 .set 摄取查询的限制
Temporarily increase limits for .set ingest query in Azure Data Explorer
我们需要首先在 Azure 数据资源管理器中导入和转换大量数据。
转换由几个包含表示转换步骤的查询的 .set 操作组成。
当我 运行 这些查询时，它们会执行 certain limits ADX 强制保护集群。
错误信息是
aggregation over string column exceeded the memory budget of 8GB
during evaluation
我知道我可以覆盖内存消耗的默认限制per iterator and per node，但这似乎只适用于没有摄取命令的查询。
当我想运行
set max_memory_consumption_per_query_per_node=68719476736;
.set async DestinationTable <| SourceTable | ...
ADX 投诉
The incomplete fragment is unexpected.
有没有办法暂时增加 .set-ingest 操作的查询限制？
您达到的限制无法使用上面包含的选项进行配置。
最好的方法是优化 query/command 你是 运行 - 你可以从 query best practices and considering splitting the single .set-or-append command into multiple ones (see "Remarks" here).
开始
如果这些仍然没有帮助，我建议您在此处包含完整的命令文本以获得进一步的建议。
我们需要首先在 Azure 数据资源管理器中导入和转换大量数据。
转换由几个包含表示转换步骤的查询的 .set 操作组成。
当我 运行 这些查询时，它们会执行 certain limits ADX 强制保护集群。
错误信息是
aggregation over string column exceeded the memory budget of 8GB during evaluation
我知道我可以覆盖内存消耗的默认限制per iterator and per node，但这似乎只适用于没有摄取命令的查询。
当我想运行
set max_memory_consumption_per_query_per_node=68719476736;
.set async DestinationTable <| SourceTable | ...
ADX 投诉
The incomplete fragment is unexpected.
有没有办法暂时增加 .set-ingest 操作的查询限制？
您达到的限制无法使用上面包含的选项进行配置。
最好的方法是优化 query/command 你是 运行 - 你可以从 query best practices and considering splitting the single .set-or-append command into multiple ones (see "Remarks" here).
如果这些仍然没有帮助，我建议您在此处包含完整的命令文本以获得进一步的建议。