PDI - 从 FTP 天前收集文件
PDI - Collecting File From FTP Older Than N Day
我有一份工作将使用 Get a file with FTP 从 FTP 收集数据，我希望它只收集昨天或早于 n 天或基于特定日期的文件。
怎么做到的？有什么办法或可能吗？
我所知道的是 Get a file with FTP 只能将文件直接从 FTP 复制到目标文件夹。所以，我不能使用任何字段并将其分配给 JavaScript 变量来创建条件。
我的要求是只在昨天或...文件从 FTP 移动到我需要的位置，而不是全部，因为我有很多大约 30K-40K 的文件，文件大小各不相同，这将花费如果我这样做会花很多时间。
下面是我设计的图
有一个 Scripting/Shell 作业条目，您可以在其中放置任何 shell 脚本，包括：
find . -mindepth 1 -maxdepth 1 -mtime -7 -exec mv -t /destination/path {} +
有关 shell 脚本的说明，请查看此处：https://unix.stackexchange.com/questions/207679/moving-files-modified-after-a-specific-date
通过在转换中使用 'Get File Names' 步骤，您可以访问 FTP 文件（通过 VFS）及其属性，即 'lastmodifiedtime'。
有了这些信息，您可以按日期进行简单的过滤，只下载早于 N 天的文件，或您需要的任何其他过滤。有了它，您可以移动、下载或任何其他您想要的文件相关操作。
我有一份工作将使用 Get a file with FTP 从 FTP 收集数据，我希望它只收集昨天或早于 n 天或基于特定日期的文件。
怎么做到的？有什么办法或可能吗？
我所知道的是 Get a file with FTP 只能将文件直接从 FTP 复制到目标文件夹。所以，我不能使用任何字段并将其分配给 JavaScript 变量来创建条件。
我的要求是只在昨天或...文件从 FTP 移动到我需要的位置，而不是全部，因为我有很多大约 30K-40K 的文件，文件大小各不相同，这将花费如果我这样做会花很多时间。 下面是我设计的图
有一个 Scripting/Shell 作业条目，您可以在其中放置任何 shell 脚本，包括：
find . -mindepth 1 -maxdepth 1 -mtime -7 -exec mv -t /destination/path {} +
有关 shell 脚本的说明，请查看此处：https://unix.stackexchange.com/questions/207679/moving-files-modified-after-a-specific-date
通过在转换中使用 'Get File Names' 步骤，您可以访问 FTP 文件（通过 VFS）及其属性，即 'lastmodifiedtime'。
有了这些信息，您可以按日期进行简单的过滤，只下载早于 N 天的文件，或您需要的任何其他过滤。有了它，您可以移动、下载或任何其他您想要的文件相关操作。