Python 连接到具有不同 SQL 方言的多个服务器？

Question

问题: 我如何运行 SQL 通过Python 查询从可能具有不同[=46] 的多个服务器检索数据=] 方言（例如，一个服务器方言使用 TOP X 和另一个 SAMPLE X）？

目前我有一些代码允许我运行针对每个服务器 单独查询 （这是不够的）：

    import pyodbc
    import pandas as pd
    cnxn = pyodbc.connect('DSN=dsn_name;UID=username;PWD=password')
    query = str("""
                SELECT * 
                FROM sqlserver1.tableA 
                """)
    df = pd.read_sql(query, cnxn)

目标：我想做的是加入来自不同服务器的数据，基本上我想在[=42=中有一个SQL查询] 看起来有点像这样 - 处理不同的 SQL 方言：

        query = str("""
                    SELECT * 
                    FROM sqlserver1.tableA as sq
                    INNER JOIN teradataserver2.tableB as tera
                            ON sq.id = tera.id
                    """)

.. P.S。我试过这样的解决方法：

        import pyodbc
        import pandas as pd
        cnxnServer1 = pyodbc.connect('DSN=dsn_name1;UID=username;PWD=password')
        cnxnServer2 = pyodbc.connect('DSN=dsn_name2;UID=username;PWD=password')

        queryServer1 = str("""
                    SELECT * 
                    FROM sqlserver1.tableA 
                    """)
        queryServer2 = str("""
                    SELECT * 
                    FROM teradataserver2.tableB 
                    """)

.. 然后使用 Pandas 合并。但是这样太没效果了。

注:我运行Python3.7

Answer 1

您可以add linked server到SQL服务器从sqlserver1访问teradataserver2。以下查询可用于连接到 sqlserver1 的上下文（检查 teradataserver2 的名称语法）

SELECT * 
FROM tableA as sq
     INNER JOIN [teradataserver2].mydb.dbo.tableB as tera
         ON sq.id = tera.id

Answer 2

如果您不想（或不能）弄乱服务器配置（例如，创建链接服务器），那么您可以使用 SQLAlchemy's SQL Expression Language 来创建可解释的语句使用 SQLAlchemy engine 对象的方言。

例如，

from sqlalchemy import create_engine, Table, MetaData
from sqlalchemy.sql import select

cnxn_url = 'mssql+pyodbc://@SQLmyDb'
engine = create_engine(cnxn_url)
metadata = MetaData()
my_table = Table('my_table', metadata, autoload=True, autoload_with=engine)
stmt = select([my_table.c.id, my_table.c.txt])\
    .select_from(my_table)\
    .order_by(my_table.c.id)\
    .limit(2)
with engine.begin() as conn:
    print(conn.execute(stmt).fetchall())

将向 SQL 服务器发送 T-SQL 语句并 return 结果。

如果我们简单地将连接 URL 更改为

cnxn_url = 'mysql+pymysql://root:whatever@localhost/mydb'

然后 SQLAlchemy 将向 MySQL 服务器发送适当的 MySQL 语句。

但是，如果您真的想将 database_A 中的一个 table 与 database_B 中的另一个 table 合并，这可能还不够。在那种情况下，您将考虑将数据从各种 table 中提取到一个公共环境中，例如 pandas DataFrames 或 table 内存中的 SQLite数据库。

Python 连接到具有不同 SQL 方言的多个服务器？

Python Connection to Multiple Servers with Different SQL Dialects?

python

sql-server

connector

pyodbc

teradata