Azure Data Lake Analytics 中的内存限制

Memory limit in Azure Data Lake Analytics

我已经为 NetCDF 文件实现了自定义提取器,并在输出变量之前将变量加载到内存中的数组中。有些数组可能很大,所以我想知道 ADLA 中的内存限制是多少。是否有可以分配的最大内存量?

每个顶点有 6GB 可用空间。请记住,此内存在 OS、U-SQL 运行时和顶点上的用户代码 运行 之间共享。

除了 Saveen 的回复:请注意一行最多可以包含 4MB 的数据,因此您的 SqlArray 也将受到最大行大小的限制,一旦您 return 它来自你的提取器。