在 MonetDBLite 中使用“INSERT INTO test VALUES”加载巨大的表
Loading huge tables with `INSERT INTO test VALUES` in MonetDBLite
在我的用例中,我在 运行 时间生成数据,将此类数据序列化为 CSV 文件然后使用 COPY
加载到 MonetDBLite 的成本可能比使用类似于 INSERT INTO tablename VALUES
。鉴于 MonetDBLite 不像 ODBC/iODBC 那样使用 DBConnections,这是否意味着我不需要使用显式 COMMIT
语句清除内存,或者我仍然需要 运行 COMMIT
将一些 GB 的数据加载到 table 之后,以便不占用所有可用的主内存?提前致谢。
您使用的是哪个 MonetDBLite?我认为在这种情况下,您可以使用内存追加来实现非常快速的数据加载。对于R/Python,我们可以直接从数据帧追加,对于C,这个过程不太方便。
在我的用例中,我在 运行 时间生成数据,将此类数据序列化为 CSV 文件然后使用 COPY
加载到 MonetDBLite 的成本可能比使用类似于 INSERT INTO tablename VALUES
。鉴于 MonetDBLite 不像 ODBC/iODBC 那样使用 DBConnections,这是否意味着我不需要使用显式 COMMIT
语句清除内存,或者我仍然需要 运行 COMMIT
将一些 GB 的数据加载到 table 之后,以便不占用所有可用的主内存?提前致谢。
您使用的是哪个 MonetDBLite?我认为在这种情况下,您可以使用内存追加来实现非常快速的数据加载。对于R/Python,我们可以直接从数据帧追加,对于C,这个过程不太方便。