如何使用 Python 从 MS SQL 快速阅读
How to read fast with Python from MS SQL
如果你有三个因变量并且你有 1000 万数据,如何在 MS SQL 中使用 Python 快速搜索特定数据?如果准备使用 pyodbc 库或任何其他?
从 RDBMS 中 table 的 1000 万行不是一个巨大的数字这一事实开始,我个人使用 TurboODBC 和 MSSQL 来迁移 table ~2亿行。我很满意。
您应该仔细检查和优化您的 query/schema(添加索引、利用它们等),无论您将使用何种技术 运行 它。数据库查询执行很可能是您流程的瓶颈(假设您不会在 python 中处理此数据)。
使用列存储索引适用于 table 中的大量 data/rows(至少数百万)。如果 SELECT 的 WHERE 子句的条件是 3 个变量,请使用这三列创建此类索引。作为一个假设的例子:
CREATE COLUMNSTORE INDEX XC_MyTable ON MyTable (Col1, Col2, Col3);
如果你有三个因变量并且你有 1000 万数据,如何在 MS SQL 中使用 Python 快速搜索特定数据?如果准备使用 pyodbc 库或任何其他?
从 RDBMS 中 table 的 1000 万行不是一个巨大的数字这一事实开始,我个人使用 TurboODBC 和 MSSQL 来迁移 table ~2亿行。我很满意。
您应该仔细检查和优化您的 query/schema(添加索引、利用它们等),无论您将使用何种技术 运行 它。数据库查询执行很可能是您流程的瓶颈(假设您不会在 python 中处理此数据)。
使用列存储索引适用于 table 中的大量 data/rows(至少数百万)。如果 SELECT 的 WHERE 子句的条件是 3 个变量,请使用这三列创建此类索引。作为一个假设的例子:
CREATE COLUMNSTORE INDEX XC_MyTable ON MyTable (Col1, Col2, Col3);