如何诊断 Pyramid 中额外的 SQLAlchemy 连接

Question

当我的应用程序运行时，我经常遇到有关连接池的问题（一个是 "QueuePool limit of size 5 overflow 10 reached"，另一个是 "FATAL: remaining connection slots are reserved for non-replication superuser connections"）。

我觉得这是由于某些代码没有正确关闭连接，或者其他代码贪婪地尝试打开不应该打开的新连接，但我使用的是默认的 SQL Alchemy 设置，所以我认为池连接默认值不应该是不合理的。我们正在使用 scoped_session(sessionmaker()) 创建会话的方式，因此支持多线程。

所以我的主要问题是是否有工具或方法可以找出连接的去向？除了能够在创建新的（不应该创建的）后立即看到之外，是否有任何明显的反模式可能导致这种效果？

Pyramid 非常不拘一格，并且有数据库连接，似乎有两种主要方法（看起来 Pyramid 同样支持）。在我们的案例中，我开始工作时的代码库使用了一种方法（我将其称为 "globals" 方法）并且我们同意切换到另一种方法，该方法较少依赖全局变量，更多依赖 Pythonic 习语。

关于我们的架构：该应用程序包含一个包含 Pyramid 项目的存储库，然后是许多其他 git 模块的来源，每个模块都有自己的连接设置。 "globals" 方式以非常非 ORM 的方式连接到数据库，例如：

(in each repo's __init__ file)
def load_database:
    global tables

    tables['table_name'] = Table(
        'table_name', metadata,
        Column('column_name', String),
    )

代码中经常出现相关的全局变量：

def function_needing_data(field_value):
    global db, tables
    select = sqlalchemy.sql.select(
        [tables['table_name'].c.data], tables['table_name'].c.name == field_value)
    return db.execute(select)

这个 tables 变量被锁定在每个 git repo 中，它添加了更多的表定义和全局 tables设法工作，提供对所有表的访问。

我们采用的方法（尽管此时，两种方法的一部分仍在代码中）是通过集中连接，将所有元数据绑定到它，然后在一个数据库中查询数据库ORM 方法：

(model)
class ModelName(MetaDataBase):
    __tablename__ = "models_table_name"
    ... (field values)

(function requiring data)
from models.db import DBSession
from models.model_name import ModelName

def function_needing_data(field_value):
    return DBSession.query(ModelName).filter(
        ModelName.field_value == field_value).all()

我们已将大部分代码移至后一种方法，感觉不错，但也许我的意图有误。我不知道这两种方法在本质上是否有好坏之分，但这（其中一种方法）是否会成为问题的一部分，因此我们将运行排除在连接之外？有没有我应该注意的迹象？

Answer 1

当您使用 Pyramid transaction manager (pyramid_tm). This excellent article by Jon Rosebaugh 时，Pyramid 似乎功能最佳（在处理连接池方面）提供了一些有用的见解，了解 Pyramid 应用程序通常如何设置其数据库连接以及它们如何应该设置它们。

在我的例子中，有必要包含 pyramid_tm 包，然后删除一些我们手动提交会话更改的地方，因为 pyramid_tm 会在没有看到时自动提交更改一个不这样做的理由。

[更新]

我仍然遇到连接池问题，尽管数量要少得多。经过大量调试，我发现金字塔 t运行saction 管理器（如果您正确使用它）根本不是问题所在。我不得不通过 cron 作业处理运行脚本的其他连接池问题。脚本在完成后会释放它的连接，但是糟糕的代码设计可能会导致相同的脚本可以打开并开始运行ning 而前一个脚本是运行ning 的情况（导致它们都运行较慢，慢到足以在脚本的第三个实例启动时同时运行ning 等等）。

这是一个与语言和数据库无关的错误，因为它源于糟糕的作业脚本设计，但值得牢记。在我的例子中，脚本末尾有一个“&”，这样每个实例都作为后台进程启动，等待 10 秒，然后生成另一个，而不是确保第一个作业开始并完成，然后等待 10 秒，然后开始另一个。

希望这对调试这个非常令人沮丧和棘手的问题有所帮助。

如何诊断 Pyramid 中额外的 SQLAlchemy 连接

How to diagnose extra SQLAlchemy connections in Pyramid

python

postgresql

connection-pooling

sqlalchemy

pyramid