为什么来自同一个 sqlalchemy 引擎的多个连接会产生不同的信息？

Question

我正在使用 PostgreSQL 9.3 和 SQLAlchemy 1.0.11

我有这样的代码：

import sqlalchemy as sa

engine = sa.create_engine('postgresql+psycopg2://me@myhost/mydb')
conn = engine.connect()

metadata = sa.MetaData()

# Real table has more columns
mytable = sa.Table(
    'my_temp_table', metadata,
    sa.Column('id', sa.Integer, primary_key=True),
    sa.Column('something', sa.String(200)),
    prefixes=['TEMPORARY'],
)

metadata.create_all(engine)

pg_conn = engine.raw_connection()
with pg_conn.cursor() as cursor:
    cursor.copy_expert('''COPY my_temp_table (id, something)
                          FROM STDIN WITH CSV''',
                       open('somecsvfile', 'r'))

现在一切正常 - cursor.rowcount 报告预期的插入行数。我什至可以运行 cursor.execute('SELECT count(*) FROM my_temp_table'); print(cursor.fetchone()) 并且它会显示相同的#。问题是当我尝试运行来自 SQLAlchemy 连接的查询时，例如

    result = conn.execute(sa.text('SELECT count(*) FROM my_temp_table'))

我把它放在哪里并不重要。我试过几个地方：

在 with 块内
with 块之外
在 cursor.close()
pg_conn.close()

似乎没有任何效果 - 无论我运行来自哪里的查询，它都会吐出：

sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) relation "my_temp_table" does not exist

有趣的是，如果我将该代码包装在 try/except 中，那么我可以在 except 块中成功执行 cursor.execute(...)。

实际上，既然我正在写这篇文章，似乎使用 sqlalchemy 连接 anywhere 无法看到那些 table 存在。

那么是什么原因呢？为什么我的 SQLAlchemy 连接看不到这些 table，而 postgres (engine.raw_connection()) 却看到？

编辑：

更神秘的是 - 如果我在 metadata.create_all(engine) 之后创建连接 ，它就可以工作！嗯，有点。

我可以从 table 中 select，但是当我得到 engine.raw_connection() 时它在 .copy_expert 上失败了，因为它找不到 table.

Answer 1

好吧，这并没有回答为什么，但它是完成我想要的东西的方法。

而不是：

pg_conn = engine.raw_connection()

with pg_conn.cursor() as cursor:

只需将其替换为：

with conn.connection.cursor() as cursor:

SQLAlchemy 连接对象 exposes its underlying DBAPI connection 通过 .connection 属性。那里涉及的任何魔法都会做正确的事情。

Answer 2

首先要注意的是临时 table 仅对创建它们的连接可见。

第二个是 Engine 不封装单个连接；它管理 connection pool.

最后，documentation 指出直接在 Engine 上执行的操作（在他们的示例中为 engine.execute("select ...")）将在内部获取和释放自己的连接。

考虑到所有这些，您的示例中发生的事情就很清楚了：

conn = engine.connect() 从池中获取连接 #1。
metadata.create_all(engine) 隐式获取连接 #2（因为从引擎的角度来看，#1 仍然是 "in use"），使用它来创建 table，并将其释放回池中.
pg_conn = engine.raw_connection() 再次获取#2，因此通过此对象执行的 COPY 仍然可以看到 table.
conn 仍在使用 #1，您通过此对象执行的任何操作都无法看到您的温度 table.

第二种情况：

metadata.create_all(engine) 隐式 acquires/uses/releases 连接 #1。
conn = engine.connect()获得#1并持有它。
pg_conn = engine.raw_connection() 获取#2，COPY 找不到温度 table。

这个故事的寓意：如果你正在做一些依赖于连接状态的事情，你最好确定你使用的是哪个连接。运行直接在 engine 上的命令适用于独立操作，但对于涉及临时 tables 的任何事情，您应该获得一个连接并坚持执行每一步（包括 table creation，建议改成metadata.create_all(conn)).

为什么来自同一个 sqlalchemy 引擎的多个连接会产生不同的信息？

Why do multiple connections from the same sqlalchemy engine produce different info?

python

postgresql

sqlalchemy

temp-tables

编辑：