如何避免 Flyway Migrations 锁定 SQLite 数据库？
How to avoid Flyway Migrations locking the SQLite Database?
我们使用 SQLite Flyway 迁移 （Flyway v3.2.1，SQLite 3.7.13 和 org.xerial:sqlite-jdbc:3.8.7驱动。)
最大并行数据库连接数似乎很重要。但是由于不同的原因，任何连接池大小的迁移都会失败。
1。使用大小为 2 或更大的连接池
存在与多个并行数据库连接相关的锁定问题。
空 SQLite 数据库上的单个迁移以：
结束
o.f.core.internal.command.DbMigrate.(:)() Current version of schema "main": << Empty Schema >>
o.f.core.internal.command.DbMigrate.(:)() Migrating schema "main" to version 1 - initial
o.f.c.i.u.jdbc.TransactionTemplate.(:)() Unable to restore autocommit to original value for connection
java.sql.SQLException: database is locked
at org.sqlite.core.DB.throwex(DB.java:859) ~[sqlite-jdbc-3.8.7.jar:na]
at org.sqlite.core.DB.exec(DB.java:142) ~[sqlite-jdbc-3.8.7.jar:na]
at org.sqlite.jdbc3.JDBC3Connection.setAutoCommit(JDBC3Connection.java:152) ~[sqlite-jdbc-3.8.7.jar:na]
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.7.0_71]
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) ~[na:1.7.0_71]
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.7.0_71]
at java.lang.reflect.Method.invoke(Method.java:606) ~[na:1.7.0_71]
at org.apache.tomcat.jdbc.pool.ProxyConnection.invoke(ProxyConnection.java:126) ~[tomcat-jdbc-7.0.56.jar:na]
at org.apache.tomcat.jdbc.pool.JdbcInterceptor.invoke(JdbcInterceptor.java:109) ~[tomcat-jdbc-7.0.56.jar:na]
at org.apache.tomcat.jdbc.pool.DisposableConnectionFacade.invoke(DisposableConnectionFacade.java:80) ~[tomcat-jdbc-7.0.56.jar:na]
at com.sun.proxy.$Proxy76.setAutoCommit(Unknown Source) ~[na:na]
at org.flywaydb.core.internal.util.jdbc.TransactionTemplate.execute(TransactionTemplate.java:96) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.applyMigration(DbMigrate.java:282) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.access0(DbMigrate.java:46) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.doInTransaction(DbMigrate.java:207) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.doInTransaction(DbMigrate.java:156) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.util.jdbc.TransactionTemplate.execute(TransactionTemplate.java:72) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.migrate(DbMigrate.java:156) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1059) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1006) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1418) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.migrate(Flyway.java:1006) [flyway-core-3.2.1.jar:na]
...
这似乎是一个常见的 SQLite 陷阱，如 here 所述。
通常，Flyway 迁移和我们剩下的应用程序都会遇到这种类型的频繁锁定错误：
java.sql.SQLException: [SQLITE_BUSY] The database file is locked
当两个或多个连接处于活动状态时。这就是我们尝试 ...
的原因
2。 ...使用大小为 1
的连接池
我们将并行数据库连接的数量减少到一个（通过将我们的 Tomcat JDBC 连接池配置为“maxActive=1”）。
但是现在，Flyway 失败了
... org.flywaydb.core.api.FlywayException: Unable to obtain Jdbc connection from DataSource
at org.flywaydb.core.internal.util.jdbc.JdbcUtils.openConnection(JdbcUtils.java:56)
at org.flywaydb.core.Flyway.execute(Flyway.java:1386)
at org.flywaydb.core.Flyway.migrate(Flyway.java:1006)
(...)
Caused by: org.apache.tomcat.jdbc.pool.PoolExhaustedException: [localhost-startStop-1] Timeout: Pool empty. Unable to fetch a connection in 10 seconds, none available[size:1; busy:1; idle:0; lastwait:10000].
at org.apache.tomcat.jdbc.pool.ConnectionPool.borrowConnection(ConnectionPool.java:674)
at org.apache.tomcat.jdbc.pool.ConnectionPool.getConnection(ConnectionPool.java:188)
at org.apache.tomcat.jdbc.pool.DataSourceProxy.getConnection(DataSourceProxy.java:128)
at org.flywaydb.core.internal.util.jdbc.JdbcUtils.openConnection(JdbcUtils.java:50)
为什么？ Flyway 迁移似乎需要两个并行连接。
Here 他们有一个相关的问题并指出：
“似乎 Flyway 至少使用了两个连接：一个用于锁定 schema_version table，另一个用于实际 运行 改变...”
最后，我想知道 Flyway 是如何支持 SQLite 的。两个连接是强制性的，但数据库最终被锁定。
但是，SQLite 是 officially supported，我想我搞砸了。
Flyway如何和SQLite一起玩好？
使用像 Spring 的 SingleConnectionDataSource 这样的东西，你应该会很好。
更新： Flyway 4.1 现在在迁移时自动只使用一个连接，应该不再需要了。
不幸的是，Flyway 使用两个数据库连接来完成它（一个用于元数据 table，一个用于用户对象）。我不确定这是否是一项要求，但无论如何，因为它需要两个连接，所以它不能被大小为 1 的标准连接池使用。此外，即使你的池中有 2 个连接，你也有潜力如果多个线程启动并使用 Flyway，则会出现死锁。每个线程可能会获得它需要的第一个连接，并无限期地阻塞等待第二个。实际上，我只是在我们的产品中遇到了这个问题，我们经常与 Flyway 交谈以检查各种租户的模式版本。此问题适用于池的任何使用，并不特定于 SQLite。
我们使用 SQLite Flyway 迁移 （Flyway v3.2.1，SQLite 3.7.13 和 org.xerial:sqlite-jdbc:3.8.7驱动。)
最大并行数据库连接数似乎很重要。但是由于不同的原因，任何连接池大小的迁移都会失败。
1。使用大小为 2 或更大的连接池
存在与多个并行数据库连接相关的锁定问题。 空 SQLite 数据库上的单个迁移以：
结束o.f.core.internal.command.DbMigrate.(:)() Current version of schema "main": << Empty Schema >>
o.f.core.internal.command.DbMigrate.(:)() Migrating schema "main" to version 1 - initial
o.f.c.i.u.jdbc.TransactionTemplate.(:)() Unable to restore autocommit to original value for connection
java.sql.SQLException: database is locked
at org.sqlite.core.DB.throwex(DB.java:859) ~[sqlite-jdbc-3.8.7.jar:na]
at org.sqlite.core.DB.exec(DB.java:142) ~[sqlite-jdbc-3.8.7.jar:na]
at org.sqlite.jdbc3.JDBC3Connection.setAutoCommit(JDBC3Connection.java:152) ~[sqlite-jdbc-3.8.7.jar:na]
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.7.0_71]
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) ~[na:1.7.0_71]
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.7.0_71]
at java.lang.reflect.Method.invoke(Method.java:606) ~[na:1.7.0_71]
at org.apache.tomcat.jdbc.pool.ProxyConnection.invoke(ProxyConnection.java:126) ~[tomcat-jdbc-7.0.56.jar:na]
at org.apache.tomcat.jdbc.pool.JdbcInterceptor.invoke(JdbcInterceptor.java:109) ~[tomcat-jdbc-7.0.56.jar:na]
at org.apache.tomcat.jdbc.pool.DisposableConnectionFacade.invoke(DisposableConnectionFacade.java:80) ~[tomcat-jdbc-7.0.56.jar:na]
at com.sun.proxy.$Proxy76.setAutoCommit(Unknown Source) ~[na:na]
at org.flywaydb.core.internal.util.jdbc.TransactionTemplate.execute(TransactionTemplate.java:96) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.applyMigration(DbMigrate.java:282) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.access0(DbMigrate.java:46) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.doInTransaction(DbMigrate.java:207) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.doInTransaction(DbMigrate.java:156) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.util.jdbc.TransactionTemplate.execute(TransactionTemplate.java:72) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.internal.command.DbMigrate.migrate(DbMigrate.java:156) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1059) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1006) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.execute(Flyway.java:1418) [flyway-core-3.2.1.jar:na]
at org.flywaydb.core.Flyway.migrate(Flyway.java:1006) [flyway-core-3.2.1.jar:na]
...
这似乎是一个常见的 SQLite 陷阱，如 here 所述。
通常，Flyway 迁移和我们剩下的应用程序都会遇到这种类型的频繁锁定错误：
java.sql.SQLException: [SQLITE_BUSY] The database file is locked
当两个或多个连接处于活动状态时。这就是我们尝试 ...
的原因2。 ...使用大小为 1
的连接池我们将并行数据库连接的数量减少到一个（通过将我们的 Tomcat JDBC 连接池配置为“maxActive=1”）。
但是现在，Flyway 失败了
... org.flywaydb.core.api.FlywayException: Unable to obtain Jdbc connection from DataSource
at org.flywaydb.core.internal.util.jdbc.JdbcUtils.openConnection(JdbcUtils.java:56)
at org.flywaydb.core.Flyway.execute(Flyway.java:1386)
at org.flywaydb.core.Flyway.migrate(Flyway.java:1006)
(...)
Caused by: org.apache.tomcat.jdbc.pool.PoolExhaustedException: [localhost-startStop-1] Timeout: Pool empty. Unable to fetch a connection in 10 seconds, none available[size:1; busy:1; idle:0; lastwait:10000].
at org.apache.tomcat.jdbc.pool.ConnectionPool.borrowConnection(ConnectionPool.java:674)
at org.apache.tomcat.jdbc.pool.ConnectionPool.getConnection(ConnectionPool.java:188)
at org.apache.tomcat.jdbc.pool.DataSourceProxy.getConnection(DataSourceProxy.java:128)
at org.flywaydb.core.internal.util.jdbc.JdbcUtils.openConnection(JdbcUtils.java:50)
为什么？ Flyway 迁移似乎需要两个并行连接。 Here 他们有一个相关的问题并指出： “似乎 Flyway 至少使用了两个连接：一个用于锁定 schema_version table，另一个用于实际 运行 改变...”
最后，我想知道 Flyway 是如何支持 SQLite 的。两个连接是强制性的，但数据库最终被锁定。
但是，SQLite 是 officially supported，我想我搞砸了。
Flyway如何和SQLite一起玩好？
使用像 Spring 的 SingleConnectionDataSource 这样的东西，你应该会很好。
更新： Flyway 4.1 现在在迁移时自动只使用一个连接，应该不再需要了。
不幸的是，Flyway 使用两个数据库连接来完成它（一个用于元数据 table，一个用于用户对象）。我不确定这是否是一项要求，但无论如何，因为它需要两个连接，所以它不能被大小为 1 的标准连接池使用。此外，即使你的池中有 2 个连接，你也有潜力如果多个线程启动并使用 Flyway，则会出现死锁。每个线程可能会获得它需要的第一个连接，并无限期地阻塞等待第二个。实际上，我只是在我们的产品中遇到了这个问题，我们经常与 Flyway 交谈以检查各种租户的模式版本。此问题适用于池的任何使用，并不特定于 SQLite。