文件年龄报告

File Age Reporting

我经常在没有此站点的情况下找到我的答案,但这次我需要更多个性化帮助。我希望有人能指出我正确的方向。

我一直在尝试从我的 NAS 系统中提取报告以获取数据年龄和数据大小的统计信息,以便我可以尝试提供 Charge Back/Show 后备解决方案。

我主要通过 Powershell 使用 get-childitem 来做到这一点,我什至尝试使用 [System.IO.Directory]::EnumerateDirectories 进入 .net, 和其他命令。所有这些解决方案都有效,但我获取这些信息的速度似乎真的很慢,尤其是当我将其与 Jam TreeSize 进行比较时,它可以相当快地收集到这些信息。

请注意,我什至在 powershell 中尝试过多线程,认为如果我可以从各个点收集数据,那么收集整个数据会更快,但我得到的结果大多是混合的。

我希望其他人之前已经处理过此类项目并设法获得了一种快速(呃)的方法。我什至愿意接受其他语言来解决这个问题。

快速说明,我在 powershell v5 中执行此操作。我也开始学习一些 python,所以如果有人提出建议,那将是我学习的好地方。

编辑:

好的,这里有一些例子。 次数: Treesize 需要 10 秒 Powershell Get-ChildItem 大约需要 2 分钟 Powershell dotnet 操作大约需要 2 分钟

对象数 60 000 个对象,大小 120gb。

get-childitem with recurse 将获取指定位置的所有文件对象,包括它们的属性,例如上次访问时间和以字节为单位的大小 dotnet 您需要使用 EnumerateFiles 等的组合,然后使用 FileInfo 循环它是获取给定位置的文件对象,然后分别检查它们的属性

在多线程方面,我会向您指出我使用的一些链接,在这里添加太多,但我已经尝试创建一个运行空间池,但我也尝试手动 运行 两个单独的runspaces 来比较结果,它们大同小异。为什么我对时间很着迷,而我上面使用的测试目录只有2分钟,而我的某些卷中的NAS却有数百万个文件。我做的一个测试花了一个半小时才能完成,如果我要对其他卷进行测试,则需要几个小时。我只想找到更接近 Treesize

的速度

编辑: 我已将 robocopy 解决方法标记为答案,但是如果您对不同的语言和程序有任何建议,请随时发表评论,这将是我以后会考虑

我去过那里,要得到你想要的是......至少是棘手的:TreeSize 正在直接从 MFT table 读取信息,而 Get-ChildItem 正在执行更上一层楼,已经在OS。因此,速度变化很大。

因此,如果您想加快报告速度,您确实需要深入了解并在较低级别编写一些代码。

对我来说,即使这不是最快的解决方案,我也做出了妥协并使用了 robocopy /l /log:c:\mylog.txt(它不复制一个字节,只是将文件记录到 mylog.txt) ,然后我解析了它。您可以使用多线程选项(/MT:[N],默认情况下 N 为 8)来加快速度。

我发现此方法的有用之处在于,如果我需要进一步调查,我将所需的所有数据都放在一个文件中,因此查询它会更快。静态的,没有更新,但是当你谈论数百万个文件时,我认为某个时刻的照片是一个很好的方法。