存储和查询 DataFactory 运行日志的建议？

Question

我想存储和查询 DataFactory 运行期间生成的输出和错误数据。调用Get-AzDataFactoryV2ActivityRun时返回数据。

目的是用它以简单快捷的方式监控可能的管道执行错误、持续时间等。

数据符合JSON格式。最好是通过一些 html 来可视化每次执行的摘要。我应该将此日志存储到 MongoDB 中吗？

有没有一种更简单更好的方法来集中不同管道多次执行的日志信息？


ResourceGroupName : Test
DataFactoryName   : DFTest
ActivityRunId     : 00000000-0000-0000-0000-000000000000
ActivityName      : If Condition1
PipelineRunId     : 00000000-0000-0000-0000-000000000000
PipelineName      : Test
Input             : {}
Output            : {}
LinkedServiceName :
ActivityRunStart  : 03/07/2019 11:27:21
ActivityRunEnd    : 03/07/2019 11:27:21
DurationInMs      : 000
Status            : Succeeded
Error             : {errorCode, message, failureType, target}

Activity 'Output' section:
"firstRow": {
  "col1": 1
}
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West Europe)"

Answer 1

这可能不是监控 ADF 管道的最佳方式。
您考虑过使用 Azure Monitor 吗？
了解更多：
- https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor
- https://docs.microsoft.com/en-us/azure/azure-monitor/visualizations

存储和查询 DataFactory 运行日志的建议？

Recommendation for storing and querying DataFactory run log?

json

azure

azure-data-factory-2

存储和查询 DataFactory 运行 日志的建议？

Recommendation for storing and querying DataFactory run log?

json

azure

azure-data-factory-2

存储和查询 DataFactory 运行日志的建议？