pentaho 可以迁移的最大数据量是多少
what is the maximum size of data that pentaho can migrate
我正在使用Pentaho数据集成工具迁移数据库
Pentaho data integration
version: 7.0
Build date: Nov 5 2016
我已经将数据迁移到
从 ms sql 服务器到 mysql.
的 25mb 数据
我只是想知道我可以使用 Pentaho 迁移的最大值是多少。
什么时候我会得到内存超出范围的错误
PDI 使用流式模型，只有在后续步骤的缓冲区允许时才输入新记录，因此对于大多数操作来说没有限制。我经常毫无问题地传输许多 GB 的数据。
有一些步骤在逻辑上需要将所有行读入内存，但随后您将进行比迁移更高级的转换。
在单个 运行 中进行非常大的传输时，您可能 运行 遇到的一件事是空闲超时。例如，如果目标 MySQL 因写入而过载，PDI 可能会等待很长时间才能从 MS SQL 请求接下来的 10,000 行，并且 MS SQL 或中间的防火墙会重置连接。您可以通过先写入临时文件（非常快）然后使用批量加载程序步骤从文件加载到 MySQL 来解决此问题。
我正在使用Pentaho数据集成工具迁移数据库
Pentaho data integration
version: 7.0
Build date: Nov 5 2016
我已经将数据迁移到
从 ms sql 服务器到 mysql.
的 25mb 数据
我只是想知道我可以使用 Pentaho 迁移的最大值是多少。
什么时候我会得到内存超出范围的错误
PDI 使用流式模型，只有在后续步骤的缓冲区允许时才输入新记录，因此对于大多数操作来说没有限制。我经常毫无问题地传输许多 GB 的数据。
有一些步骤在逻辑上需要将所有行读入内存，但随后您将进行比迁移更高级的转换。
在单个 运行 中进行非常大的传输时，您可能 运行 遇到的一件事是空闲超时。例如，如果目标 MySQL 因写入而过载，PDI 可能会等待很长时间才能从 MS SQL 请求接下来的 10,000 行，并且 MS SQL 或中间的防火墙会重置连接。您可以通过先写入临时文件（非常快）然后使用批量加载程序步骤从文件加载到 MySQL 来解决此问题。