使用 Azure Web 作业将数据导入 Azure SQL
Data Importing using Azure Web Jobs to Azure SQL
只是在寻找一些关于通过计划的 Web 作业处理数据导入的最佳方法的建议。
我有 8 个 json 文件,每 5 小时通过 FTP 客户端使用 JSON 序列化器导入到内存中,然后这些 JSON 对象被处理并插入到 Azure SQL 使用 EF6。每个文件都按顺序循环处理,因为我想确保所有数据都正确插入,因为当我尝试使用 Parallel ForEach 时,一些数据没有插入到相关表中。因此,如果 WebJob 失败,我知道有一个错误,我们可以再次 运行,问题是现在需要很长时间才能完成,因为我们有很多数据,大约需要 2 小时 - 每个文件有 500 个位置,并且每个位置都有 11 天和 24 小时的数据。
任何人都知道如何更快地执行此操作,同时确保始终正确插入数据或处理任何错误。正在考虑使用存储队列,但我们将来可能需要指向其他数据库,或者我可以为每个文件使用 1 个 Web 作业,因此每 5 小时为每个文件安排 8 个 Web 作业,因为我认为数量有限制我每天可以 运行 的网络工作。
或者是否有其他方法可以将数据导入到 Azure SQL,并且可以安排。
Azure Web 作业 (via the Web Jobs SDK) 可以监视和处理 BLOB。无需创建计划作业。 SDK 可以监视新的 BLOB 并在它们创建时对其进行处理。您可以将处理分解为较小的文件并在创建时加载它们。
Azure 流分析具有类似的功能。
只是在寻找一些关于通过计划的 Web 作业处理数据导入的最佳方法的建议。 我有 8 个 json 文件,每 5 小时通过 FTP 客户端使用 JSON 序列化器导入到内存中,然后这些 JSON 对象被处理并插入到 Azure SQL 使用 EF6。每个文件都按顺序循环处理,因为我想确保所有数据都正确插入,因为当我尝试使用 Parallel ForEach 时,一些数据没有插入到相关表中。因此,如果 WebJob 失败,我知道有一个错误,我们可以再次 运行,问题是现在需要很长时间才能完成,因为我们有很多数据,大约需要 2 小时 - 每个文件有 500 个位置,并且每个位置都有 11 天和 24 小时的数据。
任何人都知道如何更快地执行此操作,同时确保始终正确插入数据或处理任何错误。正在考虑使用存储队列,但我们将来可能需要指向其他数据库,或者我可以为每个文件使用 1 个 Web 作业,因此每 5 小时为每个文件安排 8 个 Web 作业,因为我认为数量有限制我每天可以 运行 的网络工作。
或者是否有其他方法可以将数据导入到 Azure SQL,并且可以安排。
Azure Web 作业 (via the Web Jobs SDK) 可以监视和处理 BLOB。无需创建计划作业。 SDK 可以监视新的 BLOB 并在它们创建时对其进行处理。您可以将处理分解为较小的文件并在创建时加载它们。
Azure 流分析具有类似的功能。