从 MVC Razor 中的数据库获取数据时的 LINQ 查询性能问题
LINQ query performance issue when fetching data from db in MVC Razor
问题陈述: 我正在尝试使用 Linq 查询将来自 db 的多表数据绑定到视图,这需要更多 time.I 在 db.Someone 中有大约 10000 条记录建议使用 IQueryable 而不是 IEnumerable,但是这样做影响我当前的代码(在视图和控制器中)??或者不使用它我可以完成这个吗?
我应该怎么做才能提高加载结果的性能?? 我做错了什么?? 请建议我一些更好的方法...
控制器:
public ActionResult Index()
{
var result = (from pr in db.Prod.AsEnumerable()
join s in db.Shift.AsEnumerable() on pr.Shift equals s.ShiftID
join m in db.Module.AsEnumerable() on pr.Module equals m.ModuleID
select new GlobalModel()
{
prodModelIndex = pr,
prodModel = prodModel,
shiftModel = s,
moduleModel = m,
ddlShift = objTransactionGeneralController.GetAllShift(),
ddlModule = objTransactionGeneralController.GetAllModule()
}).ToList();
return PartialView(result);
}
public TransGeneralModel GetAllModule()
{
objTransGeneralModel.ddlModule = (from m in db.Module.AsEnumerable()
select new SelectListItem
{
Value = m.ModuleID.ToString(),
Text = m.ModuleName,
}).ToList();
return objTransGeneralModel;
}
public TransGeneralModel GetAllShift()
{
objTransGeneralModel.ddlShift = (from s in db.Shift.AsEnumerable()
select new SelectListItem
{
Value = s.ShiftID.ToString(),
Text = s.ShiftName,
}).ToList();
return objTranGeneralModel;
}
查看:
@model IEnumerable<SIA.Models.Trans.GlobalModel>
@using GridMvc.Html
@{
Layout = "~/Views/Shared/_Layout.cshtml";
ViewBag.Title = "Index";
}
<link rel="stylesheet" href="@Url.Content("~/Content/jquery.dataTables.min.css")">
<script src="@Url.Content("~/Scripts/jquery-2.1.1.min.js")"></script>
<h2>Details</h2>
<hr />
<div style="width: 1000px; padding-left: 70px">
@Html.Partial("Create")
<br />
</div>
<h5 class="pull-right">
<b class="fa fa-keyboard-o" style="color: blue"></b>
@Ajax.ActionLink("Edit", "ProdEdit", "Prod", new { }, new AjaxOptions
{
InsertionMode = InsertionMode.Replace,
UpdateTargetId = "prod-details",
HttpMethod = "GET",
}, new { style = "color:blue" })
</h5>
<br />
@using (Html.BeginForm())
{
@Html.AntiForgeryToken()
@Html.ValidationSummary(true)
if (Model.FirstOrDefault().prodModelIndex != null)
{
<div id="prod-details">
<table class="table table-striped" id="tblProdDetails">
<thead>
<tr>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.ProdID)
</th>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Date)
</th>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Module)
</th>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().productionModelIndex.Shift)
</th>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Hour)
</th>
<th>
@Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Output)
</th>
</tr>
</thead>
<tbody>
@foreach (var item in Model)
{
<tr id="customer-row-@item.prodModelIndex.ProdID">
<td>
@Html.DisplayFor(modelItem => item.prodModelIndex.ProdID)
</td>
<td>
@Html.DisplayFor(modelItem => item.prodModelIndex.Date)
</td>
<td>
@Html.DisplayFor(modelItem => item.moduleModel.ModuleName)
</td>
<td>
@Html.DisplayFor(modelItem => item.shiftModel.ShiftName)
@Html.HiddenFor(modelItem => item.prodModelIndex.Shift)
</td>
<td>
@Html.DisplayFor(modelItem => item.prodModelIndex.Hour)
</td>
<td>
@Html.DisplayFor(modelItem => item.prodModelIndex.Output)
</td>
</tr>
}
</tbody>
</table>
</div>
}
}
<script>
$(document).ready(function () {
$('#tblProdDetails').dataTable({
"order": [[1, "desc"], [3, "asc"]]
});
});
</script>
@section Scripts {
@Scripts.Render("~/bundles/jqueryval")
@Scripts.Render("~/Scripts/jquery.dataTables.min.js")
<script type='text/javascript'>
$(function () {
$('.datepicker').datepicker({
format: "dd M yyyy",
}).on('changeDate', function (e) {
$(this).datepicker('hide');
});
})
</script>
}
首先,当您调用ToList()
、AsEnumerable()
或FirstOrDefault()
等方法时,它将对数据库执行查询。在您的情况下,最好删除它们以使用 joins
命中单个查询。
var result = (from pr in db.Prod
join s in db.Shift on pr.Shift equals s.ShiftID
join m in db.Module on pr.Module equals m.ModuleID
select new GlobalModel()
{
prodModelIndex = pr,
prodModel = prodModel,
shiftModel = s,
moduleModel = m
}).ToList();
如果表被外键引用则不需要连接。您可以像这样直接访问引用的记录
var result = (from pr in db.Prod
select new GlobalModel()
{
prodModelIndex = pr,
prodModel = prodModel,
shiftModel = pr.Shift,
moduleModel = pr.Module
}).ToList();
TL;DR
- 用
.Where
过滤您的主要 table (Prod) 或至少使用.Take()
将行数限制在屏幕上正常显示的范围内 - 删除
.AsEnumerable()
- 您正在将整个 table 实体化到内存中 - 向您的 table 添加外键,重新生成您的 DBML,并使用导航而不是显式连接
- 请注意您放入
Select
投影中的内容 -ddlShift = objTransactionGeneralController.GetAllShift()
将为结果集中的每一行调用。
详细
通过将 .AsEnumerable()
应用于您的 collections 喜欢:
var result = (from pr in db.Prods.AsEnumerable()
join s in db.Shifts.AsEnumerable() on pr.ShiftID equals s.ShiftId
join m in db.Modules.AsEnumerable() on pr.ModuleID equals m.ModuleId
select new ...
您当前的代码导致对 Sql 服务器的 3 个显式查询,每个查询都会将整个 table 加载到内存中:(例如使用 Sql Profiler
,或 LinqPad
, 等等)
SELECT [t0].[ModuleId], ... other columns
FROM [dbo].[Module] AS [t0];
SELECT [t0].[ShiftId], ... other columns
FROM [dbo].[Shift] AS [t0];
SELECT [t0].[ProdID], [t0].[ShiftID], [t0].[ModuleID], ... other columns
FROM [dbo].[Prod] AS [t0];
鉴于您根本没有 WHERE
谓词,这可能不会比加入数据库慢多少。但是,总的来说,这样做根本不是一个好主意,因为:
通过应用
.AsEnumerable()
,您将剥夺 Linq2Sql 将IQueryable
表达式树解析为原生 Sql 的能力。通常,在数据库中进行连接和过滤会比在内存中进行更快,并且需要更少的内存。假设Prod
、Shift
和Module
是Linq.Table<>
,这里的解决方案是简单地删除.AsEnumerable()
- 这将允许 Linq 使用 IQueryable 扩展连接、过滤、聚合等方法检索 table 中的所有行并在单个屏幕中一次显示它们是不常见的,除非 table 大小保证有少量行。通常您会对 table 应用某种过滤器。
根据 Bhaarat 的评论,如果您在 table 之间正确设置了外键(正如您的示例代码所暗示的那样,似乎设计了连接键) ,当您将 tables 导入 Linq2Sql DBML 时,您还将获得实体之间的导航,因此不需要显式加入 tables。
将其放入您的
Select
投影中 -ddlShift = objTransactionGeneralController.GetAllShift()
将为结果集中的每一行调用。这看起来很贵。这样做一次,将结果存储在局部变量中,如果需要,在每个投影中引用它。或者更改您的ViewModel
,这样它就不会在每一行重复引用,如果需要的话。延迟加载可能是一个性能问题(1 到 N 问题)- 通过
db.DeferredLoadingEnabled = false
在 DataContext 上关闭此功能,而是显式指定要预先加载的图形深度使用适当的LoadWith<>
语句
您的代码现在将如下所示:
using (var db = new DataClasses1DataContext())
{
// Switch off Lazy Loading in favour of eager loading
db.DeferredLoadingEnabled = false;
var ds = new DataLoadOptions();
ds.LoadWith<Prod>(p => p.Shift);
ds.LoadWith<Prod>(s => s.Module);
// Do this once, not in a tight loop
var ddlShift = objTransactionGeneralController.GetAllShift();
var ddlModule = objTransactionGeneralController.GetAllModule();
var result = db.Prods
.Where(p => p.ProdID > 5 && p.ProdID < 10) // Apply some kind of filtering
.Take(1000) // And / Or Limit the rows to something sane
.Select(pr => new GlobalModel()
{
prodModelIndex = pr,
// These 2 fields are actually redundant, as we now have navigation fields
// for these off prodModelIndex
shiftModel = s,
moduleModel = m,
ddlShift = ddlShift,
ddlModule = ddlModule
}).ToList();
return PartialView(result);
}
并且生成的 SQL 将是单个查询,具有更合理的行限制:
SELECT TOP 1000 [t0].[ProdID], [t0].[ShiftID], [t0].[ModuleID], [t1].[ShiftId] AS [ShiftId2], [t2].[ModuleId] AS [ModuleId2]
FROM [dbo].[Prod] AS [t0]
INNER JOIN [dbo].[Shift] AS [t1] ON [t0].[ShiftID] = ([t1].[ShiftId])
INNER JOIN [dbo].[Module] AS [t2] ON [t0].[ModuleID] = ([t2].[ModuleId])
WHERE [t0].[ProdID] BETWEEN 5 AND 10;