使用 Informatica 加载大量表的最佳方法是什么?
What's the best way to load huge volume tables using Informatica?
目前,在我们的项目中,我们正在使用 Informatica 进行数据加载。
我们有需求加载100张表(以后会增加),每张表有1亿条记录,需要对其进行delta操作。以有效方式执行此操作的最佳方式可能是什么?
如果可能,尝试运行分类并加载。这样,在每次 运行 之后,您将拥有一个完整的新转储。
如果您不能运行分类目标并需要增量,请获取一些时间戳或计数器,它们将只允许读取修改过的行——比如新的和更新的。一些"upddated date"。这样您将限制读取的数据数量。但是,这不会让您进行删除。所以...
创建一个单独的流程来查找已删除的行,它不会读取整行,而只会读取 ID。这仍然需要检查所有行,但仅限于一列,因此它应该非常有效。用它来删除目标中的行 - 或者只是将它们标记为已删除。
目前,在我们的项目中,我们正在使用 Informatica 进行数据加载。
我们有需求加载100张表(以后会增加),每张表有1亿条记录,需要对其进行delta操作。以有效方式执行此操作的最佳方式可能是什么?
如果可能,尝试运行分类并加载。这样,在每次 运行 之后,您将拥有一个完整的新转储。
如果您不能运行分类目标并需要增量,请获取一些时间戳或计数器,它们将只允许读取修改过的行——比如新的和更新的。一些"upddated date"。这样您将限制读取的数据数量。但是,这不会让您进行删除。所以...
创建一个单独的流程来查找已删除的行,它不会读取整行,而只会读取 ID。这仍然需要检查所有行,但仅限于一列,因此它应该非常有效。用它来删除目标中的行 - 或者只是将它们标记为已删除。