C++ 缓慢获取 Recordset 行

Question

我在获取 Recordset 中的行时遇到问题，因为它真的很慢。

我们有一个虚拟的 ListCtrl，在“OnGetdispinfo”方法中检索和设置数据。

这非常快（本地主机上 30 万行大约需要 2 秒）但是如果连接速度很慢，GUI 将变得无响应并且在作业完成之前完全无法使用。

所以我尝试在另一个线程中执行 Sql 操作，并在获取所有数据后更新列表。 GUI 无响应的问题由此得到解决，但获取所有数据所需的时间从 2 秒跃升至几分钟。即使我除了循环遍历行之外什么都不做（只是在循环中调用 MoveNext() 直到到达 EOF），它仍然需要一分钟多的时间才能完成。

如何在不完全破坏此处性能的情况下解决冻结 GUI 的问题？我在下面包含了相关代码

m_pRecordset 是一个普通的 Recordset

旧：

void KundenListControlSQLCommand::OnGetdispinfo(NMHDR* pNMHDR, LRESULT* pResult)
{
    if (m_pRecordset->IsBOF())
    {
        *pResult = 0;
        return;
    }

    LV_DISPINFO* pDispInfo = (LV_DISPINFO*)pNMHDR;
    LV_ITEM* pItem = &(pDispInfo)->item;

    if (pItem->mask & LVIF_TEXT)
    {
        CString strData;

        m_pRecordset->SetAbsolutePosition(pItem->iItem + 1);
        if (getStatusRow() != pItem->iSubItem)
        {
            m_pRecordset->GetFieldValue(short(pItem->iSubItem), strData);
        }
        ::lstrcpy(pItem->pszText, strData);
        
    }

    if (pItem->mask & LVIF_IMAGE)
    {
        int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGETIMAGEINDEX, pItem->iItem, 0);
        if (0 != nIndex)
        {
            pItem->iImage = nIndex - 1;
        }
    }

    *pResult = 0;
}


void KundenListControlSQLCommand::loadAndDisplayData()
{
    ASSERT(!m_strSQLCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->IsOpen())
        {
            CString strSQL = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strSQL);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"), m_strSQLCommand);

        if (m_pRecordset->IsOpen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::snapshot, m_strSQLCommand + m_strSortOrder,
            Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

        SetItemCountEx(m_nRecordCount);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

新：

void KundenListControlSQLCommand::loadAndDisplayData()
{
    ASSERT(!m_strSQLCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->IsOpen())
        {
            CString strSQL = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strSQL);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"), m_strSQLCommand);

        if (m_pRecordset->IsOpen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::dynaset, m_strSQLCommand + m_strSortOrder,
            Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

            m_vResult.clear();
            m_vResult.reserve(m_nRecordCount);
            int nFieldCount = m_pRecordset->GetODBCFieldCount();
            CString strData;

            while (!m_pRecordset->IsEOF())
            {
                for (auto i = 0; i < nFieldCount; i++)
                {
                    m_pRecordset->GetFieldValue(short(i), strData);
                    m_vResult.push_back(std::move(strData));
                }

                if (m_bAbort)
                {
                    m_bAbort = false;
                    return;
                }
                m_pRecordset->MoveNext();
            }

            GetParent()->SendMessage(OT_VLC_ON_LIST_DONE, NULL, NULL);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

void KundenListControlSQLCommand::OnGetdispinfo(NMHDR* pNMHDR, LRESULT* pResult)
{
        if (m_pRecordset->IsBOF())
        {
            *pResult = 0;
            return;
        }

        LV_DISPINFO* pDispInfo = (LV_DISPINFO*)pNMHDR;
        LV_ITEM* pItem = &(pDispInfo)->item;

        UINT nItem = (pItem->iItem * m_pRecordset->GetODBCFieldCount()) + pItem->iSubItem;
        if (pItem->mask & LVIF_TEXT && m_vResult.size() >= nItem)
        {
            ::lstrcpy(pItem->pszText, std::move(m_vResult.at(nItem)));
        }

        if (pItem->mask & LVIF_IMAGE)
        {
            int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGETIMAGEINDEX, pItem->iItem, 0);
            if (0 != nIndex)
            {
                pItem->iImage = nIndex - 1;
            }
        }

        *pResult = 0;
}``

Answer 1

我不太了解 ODBC，但怀疑有更好的方法来获取批量数据。

无论如何，你做了很多不必要的载体复制。两个简单的修复：

紧接着 m_vResult.clear();，将 m_vResult 的大小调整为记录数。
而不是 m_vResult.push_back(vResult); 做 m_vResult.push_back(std::move(vResult));，因为在那之后你不需要你的 vResult。

Answer 2

正如我在您的代码中看到的那样，您读取数据并将它们放入向量中。在这样的设置中，我认为你真的不需要 dynaset 记录集，根据文档，它是 “双向滚动的记录集”。它逐行获取数据，这可能是导致过程变慢的原因。此外，“其他用户对数据值所做的更改在获取操作后可见”，但我认为这在这种情况下并不重要。这对于显示经常更新的更多“实时”数据最有用。

相反，snapshot，甚至 forwardOnly 记录集就足够了，而且会更快。您还可以尝试使用 CRecordset::useMultiRowFetch 选项。文档说它更快。它需要对您的代码进行一些更改（下一步等）。看这里：Recordset: Fetching Records in Bulk (ODBC).

另一种完全不同的实现方式是改用书签。加载速度会快很多，但滚动会有些缓慢，因为您必须在 OnGetdispinfo() 函数中获取数据。

最后一个提示，如果您使用的是 MS-SQL 服务器，请检查本机驱动程序，如果您还没有，i-net 上的许多人声称它要快得多。

Answer 3

另一个解决方案是做一个缓存列表，处理 LVN_ODCACHEHINT 通知（这个例子是针对 CListView 但你可以在你的 CListCtrl 上调整它:

// header.h

class CYourListView : public CListView
{
    // ...

    afx_msg void OnLvnOdcachehint(NMHDR* pNMHDR, LRESULT *pResult);
};

和实施：

// YourListView.cpp

    // ...
ON_NOTIFY_REFLECT(LVN_ODCACHEHINT, &CYourListView::OnLvnOdcachehint)
END_MESSAGE_MAP()

void CYourListView::OnLvnOdcachehint(NMHDR* pNMHDR, LRESULT* pResult)
{
    LPNMLVCACHEHINT pCacheHint = reinterpret_cast<LPNMLVCACHEHINT>(pNMHDR);

    const DWORD dwTo = pCacheHint->iTo;
    const DWORD dwFetched = m_vResult.size();

    if (dwTo >= dwFetched) // new rows must be fetched
    {
        const DWORD dwColCount = m_pRecordset->GetColumnCount();
        m_vResult.resize(dwTo + 1);
        for (DWORD dwRow = dwFetched; dwRow <= dwTo; ++dwRow)
        {
            CDBRecord* pRecord = new CDBRecord;
            pRecord->SetSize(dwColCount);
            for (DWORD dwCol = 1; dwCol <= dwColCount; dwCol++)
            {
                CDBValue* pDBValue = new CDBValue(m_pRecordset, dwCol);
                pRecord->SetAt(dwCol - 1, pDBValue);
            }
            m_vResult.emplace(m_vResult.begin() + dwRow, pRecord);
            m_pRecordset->MoveNext();
        }
    }

    *pResult = 0;
}

可能需要根据您的特定情况调整一些变量/值。

C++ 缓慢获取 Recordset 行

C++ Slow fetching of Recordset rows

c++

mfc

recordset