Azure 数据流需要 7 分钟来处理 3 条记录

Question

我面临的问题是 Azure 数据流处理 3 条记录需要大约 7 分钟

场景它有两个数据源 CSV 文件，它们正在连接，然后将其保存在数据库中，但它需要 7 分钟，有时 8 分钟 我不知道为什么花了这么多时间谁能帮我调一下

Answer 1

目前，映射数据流的启动时间很长。这意味着这 7 分钟用于创建计算资源。实际处理时间接近 3 秒或更短。正在努力减轻这一痛点。

你应该可以在监控部分验证这一点。

Answer 2

要在不等待配置计算资源的情况下执行数据流，请使用管道调试功能并打开数据流调试会话。这将为您预热 Databricks 并保温 60 分钟。