有没有更简单的方法来恢复 SqlAlchemy 集成测试之间的状态?
Is there a simpler way to restore state between SqlAlchemy integration tests?
Flask 示例应用程序 Flasky and Flaskr 在每次测试之间创建、删除和重新播种整个数据库。即使这不会使测试套件 运行 变慢,我想知道是否有一种方法可以在不那么 "destructive" 的情况下完成同样的事情。我很惊讶没有 "softer" 回滚任何更改的方法。我已经尝试了一些没有用的东西。
对于上下文,我的测试通过 Flask test_client 使用 self.client.post('/things') 之类的东西调用端点,并在端点内调用 session.commit()。
我已经尝试制作自己的 "commit" 函数,该函数实际上只在测试期间刷新,但是如果我发出两个顺序请求,例如 self.client.post('/things') 和 self.client.get('/things'),新创建的项目不存在于结果集中,因为新请求有一个新的请求上下文和一个新的数据库会话(和事务),它不知道只是刷新的变化,没有提交.这似乎是这种方法不可避免的问题。
我试过使用 db.session.begin(subtransactions=True) 的子事务,但后来我 运行 遇到了一个更糟糕的问题。因为我有 autoflush=False,所以在提交外部事务之前,实际上没有任何内容被提交或刷新。同样,任何依赖于同一测试中较早请求修改的数据的请求都将失败。即使使用 autoflush=True,顺序请求也会出现之前的问题。
我试过嵌套事务,结果与子事务相同,但显然它们没有按照我希望的那样进行。我看到嵌套事务向数据库发出 SAVEPOINT 命令。我希望这将允许提交发生,对其他会话可见,然后能够在任意时间回滚到该保存点,但这不是他们所做的。它们在事务中使用,并且与以前的方法存在相同的问题。
更新:Apparently there is a way of using nested transactions on a Connection rather than a Session, which might work but requires some restructuring of an application to use a Connection created by the test code. I haven't tried this yet. I'll get around to it eventually, but meanwhile I hope there's another way. Some say this approach may not work with MySQL due to a distinction between "real nested transactions" and savepoints, but the Postgres documentation 还说要使用 SAVEPOINT 而不是尝试嵌套事务。我想我们可以忽略这个警告。我看不出这两个数据库之间有任何区别,如果它适用于一个数据库,它可能也适用于另一个数据库。
另一个避免数据库 drop_all、create_all 和重新植入数据的选项是手动撤消测试引入的更改。但是在测试端点时,许多行可能会插入到许多表中,手动可靠地撤消此操作既费力又容易出错。
在尝试了所有这些之后,我开始看到在测试之间删除和创建的智慧。但是,是否有我在上面尝试过的应该起作用的东西,但我只是做错了什么?还是有人知道我还没有尝试过的另一种方法?
更新:Another method I just found on Whosebug 是 t运行 整理所有表格,而不是删除和创建表格。这显然快了两倍,但它仍然显得笨手笨脚,而且不如回滚方便(回滚不会删除测试用例之前放置在数据库中的任何样本数据)。
对于单元测试,我认为重新生成整个数据库的标准方法最有意义,正如您在我的示例和许多其他示例中看到的那样。但我同意,对于大型应用程序,这可能会在您的测试期间花费很多时间 运行。
感谢 SQLAlchemy,您可以在您的生产数据库中编写大量 运行 的通用数据库代码,这可能是 MySQL、Postgres 等,同时它 运行s 在 sqlite 上进行测试。不可能每个应用程序都使用 100% 通用的 SQLAlchemy,因为 sqlite 与其他应用程序有一些重要的区别,但在许多情况下,它工作得很好。
因此,只要有可能,我都会为我的测试设置一个 sqlite 数据库。即使对于大型数据库,使用内存中的 sqlite 数据库也应该非常快。另一个非常快速的替代方法是生成一次表,使用所有空表备份 sqlite 文件,然后在每次测试之前恢复文件而不是执行 create_all()
.
我还没有探索过使用空表对数据库进行初始备份,然后在 MySQL 或 Postgres 的测试之间使用基于文件的恢复的想法,但理论上这也应该有效,所以我猜猜这是您在列表中没有提到的一种解决方案。不过,您需要在测试之间停止并重新启动数据库服务。
Flask 示例应用程序 Flasky and Flaskr 在每次测试之间创建、删除和重新播种整个数据库。即使这不会使测试套件 运行 变慢,我想知道是否有一种方法可以在不那么 "destructive" 的情况下完成同样的事情。我很惊讶没有 "softer" 回滚任何更改的方法。我已经尝试了一些没有用的东西。
对于上下文,我的测试通过 Flask test_client 使用 self.client.post('/things') 之类的东西调用端点,并在端点内调用 session.commit()。
我已经尝试制作自己的 "commit" 函数,该函数实际上只在测试期间刷新,但是如果我发出两个顺序请求,例如 self.client.post('/things') 和 self.client.get('/things'),新创建的项目不存在于结果集中,因为新请求有一个新的请求上下文和一个新的数据库会话(和事务),它不知道只是刷新的变化,没有提交.这似乎是这种方法不可避免的问题。
我试过使用 db.session.begin(subtransactions=True) 的子事务,但后来我 运行 遇到了一个更糟糕的问题。因为我有 autoflush=False,所以在提交外部事务之前,实际上没有任何内容被提交或刷新。同样,任何依赖于同一测试中较早请求修改的数据的请求都将失败。即使使用 autoflush=True,顺序请求也会出现之前的问题。
我试过嵌套事务,结果与子事务相同,但显然它们没有按照我希望的那样进行。我看到嵌套事务向数据库发出 SAVEPOINT 命令。我希望这将允许提交发生,对其他会话可见,然后能够在任意时间回滚到该保存点,但这不是他们所做的。它们在事务中使用,并且与以前的方法存在相同的问题。
更新:Apparently there is a way of using nested transactions on a Connection rather than a Session, which might work but requires some restructuring of an application to use a Connection created by the test code. I haven't tried this yet. I'll get around to it eventually, but meanwhile I hope there's another way. Some say this approach may not work with MySQL due to a distinction between "real nested transactions" and savepoints, but the Postgres documentation 还说要使用 SAVEPOINT 而不是尝试嵌套事务。我想我们可以忽略这个警告。我看不出这两个数据库之间有任何区别,如果它适用于一个数据库,它可能也适用于另一个数据库。
另一个避免数据库 drop_all、create_all 和重新植入数据的选项是手动撤消测试引入的更改。但是在测试端点时,许多行可能会插入到许多表中,手动可靠地撤消此操作既费力又容易出错。
在尝试了所有这些之后,我开始看到在测试之间删除和创建的智慧。但是,是否有我在上面尝试过的应该起作用的东西,但我只是做错了什么?还是有人知道我还没有尝试过的另一种方法?
更新:Another method I just found on Whosebug 是 t运行 整理所有表格,而不是删除和创建表格。这显然快了两倍,但它仍然显得笨手笨脚,而且不如回滚方便(回滚不会删除测试用例之前放置在数据库中的任何样本数据)。
对于单元测试,我认为重新生成整个数据库的标准方法最有意义,正如您在我的示例和许多其他示例中看到的那样。但我同意,对于大型应用程序,这可能会在您的测试期间花费很多时间 运行。
感谢 SQLAlchemy,您可以在您的生产数据库中编写大量 运行 的通用数据库代码,这可能是 MySQL、Postgres 等,同时它 运行s 在 sqlite 上进行测试。不可能每个应用程序都使用 100% 通用的 SQLAlchemy,因为 sqlite 与其他应用程序有一些重要的区别,但在许多情况下,它工作得很好。
因此,只要有可能,我都会为我的测试设置一个 sqlite 数据库。即使对于大型数据库,使用内存中的 sqlite 数据库也应该非常快。另一个非常快速的替代方法是生成一次表,使用所有空表备份 sqlite 文件,然后在每次测试之前恢复文件而不是执行 create_all()
.
我还没有探索过使用空表对数据库进行初始备份,然后在 MySQL 或 Postgres 的测试之间使用基于文件的恢复的想法,但理论上这也应该有效,所以我猜猜这是您在列表中没有提到的一种解决方案。不过,您需要在测试之间停止并重新启动数据库服务。