SQLAlchemy 中的 Union statement 语句

Question

我有多个大型 csv 文件，我想合并这些文件并将最终的 table 存储在数据库中，以便将来在 Pandas 中使用。我使用 Pandas 阅读它们并将它们作为单独但相似的 table 存储到 Sqlite 数据库中。

我想通过 SQL 字符串（垂直）合并行，然后在 pandas 中使用它们进行更多分析。我想知道当我们处理大文件且内存有限 (16GB) 时，在 pandas 和 SQL 之间来回切换是否是一个好习惯？

我的代码也给我一个错误，我不确定是否存在语法问题或我在这里遗漏的更重要的问题。

from sqlalchemy.sql import text
engine = create_engine('sqlite:///C:\master.db', echo=False)
string = text("""SELECT * INTO Flows FROM (select * from "f2007-08" UNION select * from "f2009-10")""")
engine.execute(string)

Answer 1

这不是将查询结果插入另一个查询结果的正确语法 table。

是INSERT INTO tablename SELECT ...

string = text("""
    INSERT INTO Flows 
    select * from "f2007-08" 
    UNION 
    select * from "f2009-10" 
""")

SQLAlchemy 中的 Union statement 语句

Union statement statement in SQLAlchemy

python

sql

sqlite

sqlalchemy

pandas