分离用于摄取和导出的集群

Question

考虑到集群在内存和 cpu 使用方面主要由摄取进程控制，是否最好有一个单独的追随者集群专门用于仅导出？用例是通过让所有节点参与导出来从 ADX 集群中导出大量数据。换句话说，使用跟随者集群作为领导者集群本身的出口有什么缺点吗？或者，简单地扩展 up/out 主（领导）集群本身以促进大量导出而不必通过跟随者集群来完成这将是一个更好的策略？在这种情况下优化导出的最佳方法是什么？导出到外部 table，它指向与集群位于同一区域的存储。

Answer 1

我建议扩展 up/out 现有集群，而不是创建关注者集群。它将让您更轻松地管理，并且您将支付更少的费用。

为了高效导出，建议导出为 parquet 格式，并使用 useNativeParquetWriter 标志，查看更多详细信息 here。