从 MVC Razor 中的数据库获取数据时的 LINQ 查询性能问题

Question

问题陈述： 我正在尝试使用 Linq 查询将来自 db 的多表数据绑定到视图，这需要更多 time.I 在 db.Someone 中有大约 10000 条记录建议使用 IQueryable 而不是 IEnumerable，但是这样做影响我当前的代码（在视图和控制器中）？？或者不使用它我可以完成这个吗？

我应该怎么做才能提高加载结果的性能？？ 我做错了什么？？ 请建议我一些更好的方法...

控制器：

public ActionResult Index()
    {
        var result = (from pr in db.Prod.AsEnumerable()
                      join s in db.Shift.AsEnumerable() on pr.Shift equals s.ShiftID
                      join m in db.Module.AsEnumerable() on pr.Module equals m.ModuleID
                      select new GlobalModel()
                      {
                          prodModelIndex = pr,
                          prodModel = prodModel,
                          shiftModel = s,
                          moduleModel = m,
                          ddlShift = objTransactionGeneralController.GetAllShift(),
                          ddlModule = objTransactionGeneralController.GetAllModule()

                      }).ToList();
    return PartialView(result);

    }





   public TransGeneralModel GetAllModule()
    {

        objTransGeneralModel.ddlModule = (from m in db.Module.AsEnumerable()
                                           select new SelectListItem
                                           {
                                               Value = m.ModuleID.ToString(),
                                               Text = m.ModuleName,
                                           }).ToList();


        return objTransGeneralModel;
    }

    public TransGeneralModel GetAllShift()
    {

        objTransGeneralModel.ddlShift = (from s in db.Shift.AsEnumerable()
                                          select new SelectListItem
                                          {
                                              Value = s.ShiftID.ToString(),
                                              Text = s.ShiftName,
                                          }).ToList();


        return objTranGeneralModel;
    }

查看：

@model IEnumerable<SIA.Models.Trans.GlobalModel>

@using GridMvc.Html

@{
    Layout = "~/Views/Shared/_Layout.cshtml";
    ViewBag.Title = "Index";

    }

    <link rel="stylesheet" href="@Url.Content("~/Content/jquery.dataTables.min.css")">
    <script src="@Url.Content("~/Scripts/jquery-2.1.1.min.js")"></script>


    <h2>Details</h2>
    <hr />

    <div style="width: 1000px; padding-left: 70px">
        @Html.Partial("Create")
        <br />
    </div>

    <h5 class="pull-right">
        <b class="fa fa-keyboard-o" style="color: blue"></b>
        @Ajax.ActionLink("Edit", "ProdEdit", "Prod", new { }, new AjaxOptions
    {
        InsertionMode = InsertionMode.Replace,
        UpdateTargetId = "prod-details",
        HttpMethod = "GET",
    }, new { style = "color:blue" })
    </h5>

    <br />
    @using (Html.BeginForm())
    {
        @Html.AntiForgeryToken()
        @Html.ValidationSummary(true)
        if (Model.FirstOrDefault().prodModelIndex != null)
        { 

        <div id="prod-details">
            <table class="table table-striped" id="tblProdDetails">
                <thead>
                    <tr>

                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.ProdID)
                        </th>
                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Date)
                        </th>
                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Module)
                        </th>
                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().productionModelIndex.Shift)
                        </th>

                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Hour)
                        </th>
                        <th>
                            @Html.DisplayNameFor(model => model.FirstOrDefault().prodModelIndex.Output)
                        </th>

                    </tr>
                </thead>
                <tbody>
                    @foreach (var item in Model)
                    {
                        <tr id="customer-row-@item.prodModelIndex.ProdID">


                            <td>
                                @Html.DisplayFor(modelItem => item.prodModelIndex.ProdID)
                            </td>
                            <td>
                                @Html.DisplayFor(modelItem => item.prodModelIndex.Date)
                            </td>
                            <td>
                                @Html.DisplayFor(modelItem => item.moduleModel.ModuleName)
                            </td>
                            <td>
                                @Html.DisplayFor(modelItem => item.shiftModel.ShiftName)
                                @Html.HiddenFor(modelItem => item.prodModelIndex.Shift)
                            </td>

                            <td>
                                @Html.DisplayFor(modelItem => item.prodModelIndex.Hour)
                            </td>
                            <td>
                                @Html.DisplayFor(modelItem => item.prodModelIndex.Output)
                            </td>
                        </tr>
                    }
                </tbody>
            </table>

        </div>
        }
    }

    <script>

        $(document).ready(function () {

            $('#tblProdDetails').dataTable({
                "order": [[1, "desc"], [3, "asc"]]

            });

        });
    </script>

    @section Scripts {
        @Scripts.Render("~/bundles/jqueryval")
        @Scripts.Render("~/Scripts/jquery.dataTables.min.js")
        <script type='text/javascript'>
            $(function () {
                $('.datepicker').datepicker({
                    format: "dd M yyyy",
                }).on('changeDate', function (e) {
                    $(this).datepicker('hide');
                });
            })

        </script>
    }

Answer 1

首先，当您调用ToList()、AsEnumerable() 或FirstOrDefault() 等方法时，它将对数据库执行查询。在您的情况下，最好删除它们以使用 joins 命中单个查询。

var result = (from pr in db.Prod
                      join s in db.Shift on pr.Shift equals s.ShiftID
                      join m in db.Module on pr.Module equals m.ModuleID
                      select new GlobalModel()
                      {
                          prodModelIndex = pr,
                          prodModel = prodModel,
                          shiftModel = s,
                          moduleModel = m

                      }).ToList();

Answer 2

如果表被外键引用则不需要连接。您可以像这样直接访问引用的记录

var result = (from pr in db.Prod
                      select new GlobalModel()
                      {
                          prodModelIndex = pr,
                          prodModel = prodModel,
                          shiftModel = pr.Shift,
                          moduleModel = pr.Module     
                      }).ToList();

Answer 3

TL;DR

用 .Where 过滤您的主要 table (Prod) 或至少使用 .Take() 将行数限制在屏幕上正常显示的范围内
删除 .AsEnumerable() - 您正在将整个 table 实体化到内存中
向您的 table 添加外键，重新生成您的 DBML，并使用导航而不是显式连接
请注意您放入 Select 投影中的内容 - ddlShift = objTransactionGeneralController.GetAllShift() 将为结果集中的每一行调用。

详细

通过将 .AsEnumerable() 应用于您的 collections 喜欢：

var result = (from pr in db.Prods.AsEnumerable()
      join s in db.Shifts.AsEnumerable() on pr.ShiftID equals s.ShiftId
      join m in db.Modules.AsEnumerable() on pr.ModuleID equals m.ModuleId
      select new ...

您当前的代码导致对 Sql 服务器的 3 个显式查询，每个查询都会将整个 table 加载到内存中：（例如使用 Sql Profiler，或 LinqPad, 等等)

SELECT [t0].[ModuleId], ... other columns
FROM [dbo].[Module] AS [t0];

SELECT [t0].[ShiftId], ... other columns
FROM [dbo].[Shift] AS [t0];

SELECT [t0].[ProdID], [t0].[ShiftID], [t0].[ModuleID], ... other columns
FROM [dbo].[Prod] AS [t0];

鉴于您根本没有 WHERE 谓词，这可能不会比加入数据库慢多少。但是，总的来说，这样做根本不是一个好主意，因为：

通过应用 .AsEnumerable()，您将剥夺 Linq2Sql 将 IQueryable 表达式树解析为原生 Sql 的能力。通常，在数据库中进行连接和过滤会比在内存中进行更快，并且需要更少的内存。假设 Prod、Shift 和 Module 是 Linq.Table<>，这里的解决方案是简单地删除 .AsEnumerable() - 这将允许 Linq 使用 IQueryable 扩展连接、过滤、聚合等方法
检索 table 中的所有行并在单个屏幕中一次显示它们是不常见的，除非 table 大小保证有少量行。通常您会对 table 应用某种过滤器。
根据 Bhaarat 的评论，如果您在 table 之间正确设置了外键（正如您的示例代码所暗示的那样，似乎设计了连接键），当您将 tables 导入 Linq2Sql DBML 时，您还将获得实体之间的导航，因此不需要显式加入 tables。
将其放入您的 Select 投影中 - ddlShift = objTransactionGeneralController.GetAllShift() 将为结果集中的每一行调用。这看起来很贵。这样做一次，将结果存储在局部变量中，如果需要，在每个投影中引用它。或者更改您的 ViewModel，这样它就不会在每一行重复引用，如果需要的话。
延迟加载可能是一个性能问题（1 到 N 问题）- 通过 db.DeferredLoadingEnabled = false 在 DataContext 上关闭此功能，而是显式指定要预先加载的图形深度使用适当的 LoadWith<> 语句

您的代码现在将如下所示：

using (var db = new DataClasses1DataContext())
{
    // Switch off Lazy Loading in favour of eager loading
    db.DeferredLoadingEnabled = false;
    var ds = new DataLoadOptions();
    ds.LoadWith<Prod>(p => p.Shift);
    ds.LoadWith<Prod>(s => s.Module);

    // Do this once, not in a tight loop
    var ddlShift = objTransactionGeneralController.GetAllShift();
    var ddlModule = objTransactionGeneralController.GetAllModule();

    var result = db.Prods
        .Where(p => p.ProdID > 5 && p.ProdID < 10) // Apply some kind of filtering
        .Take(1000) // And / Or Limit the rows to something sane
        .Select(pr => new GlobalModel()
          {
              prodModelIndex = pr,
     // These 2 fields are actually redundant, as we now have navigation fields 
     // for these off prodModelIndex
              shiftModel = s, 
              moduleModel = m,
              ddlShift = ddlShift,
              ddlModule = ddlModule
          }).ToList();

    return PartialView(result);
}

并且生成的 SQL 将是单个查询，具有更合理的行限制：

SELECT TOP 1000 [t0].[ProdID], [t0].[ShiftID], [t0].[ModuleID], [t1].[ShiftId] AS [ShiftId2], [t2].[ModuleId] AS [ModuleId2]
FROM [dbo].[Prod] AS [t0]
INNER JOIN [dbo].[Shift] AS [t1] ON [t0].[ShiftID] = ([t1].[ShiftId])
INNER JOIN [dbo].[Module] AS [t2] ON [t0].[ModuleID] = ([t2].[ModuleId])
WHERE [t0].[ProdID] BETWEEN 5 AND 10;

从 MVC Razor 中的数据库获取数据时的 LINQ 查询性能问题

LINQ query performance issue when fetching data from db in MVC Razor

linq

asp.net-mvc-4

razor

linq-to-sql