如何使用Apache Nifi传输大量数据（GB）而不会出现内存错误？
How to use Apache Nifi to transfer lots of data (GB) without memory error?
我正在使用 apach NiFi 将 postgres 中的基础转移到 bigquery，但是，有些表很大 (29GB)，我收到 VM 的内存错误。我可以跳过这个限制吗？我需要升级我的桌面来支持这种转变吗？还是存在其他方法？
错误：java.lang.outofmemoryerror：超出 gc 开销限制
架构：imageSchema
在对大 PostgreSQL 表执行查询时，您应该将 Auto Commit 属性 设置为 false，因为驱动程序在设置自动提交时不遵守 fetchSize真（默认）
不幸的是，当前 Nifi 版本中的 sql executors 没有 属性。
see相关问题
我正在使用 apach NiFi 将 postgres 中的基础转移到 bigquery，但是，有些表很大 (29GB)，我收到 VM 的内存错误。我可以跳过这个限制吗？我需要升级我的桌面来支持这种转变吗？还是存在其他方法？
错误：java.lang.outofmemoryerror：超出 gc 开销限制
架构：imageSchema
在对大 PostgreSQL 表执行查询时，您应该将 Auto Commit 属性 设置为 false，因为驱动程序在设置自动提交时不遵守 fetchSize真（默认）
不幸的是，当前 Nifi 版本中的 sql executors 没有 属性。
see相关问题