计算文件中未知字符串最常见的出现次数

Question

我有一个大文件，里面全是这样的行...

19:54:05 10.10.8.5 [SERVER] Response sent: www.example.com. type A by 192.168.4.5
19:55:10 10.10.8.5 [SERVER] Response sent: ns1.example.com. type A by 192.168.4.5
19:55:23 10.10.8.5 [SERVER] Response sent: ns1.example.com. type A by 192.168.4.5

我不关心任何其他数据，只关心 "response sent:" 之后的数据我想要一份最常见域名的排序列表。问题是我不会提前知道所有的域名，所以我不能只搜索字符串。

使用上面的示例，我希望输出符合

ns1.example.com (2)
www.example.com (1)

...其中 ( ) 中的数字是该事件的计数。

How/what 我可以在 Windows 上使用它吗？输入文件是 .txt - 输出文件可以是任何东西。理想情况下是一个命令行过程，但我真的迷路了，所以我对任何事情都很满意。

Answer 1

你能在 PHP 完成吗？

<?php
$lines = file($filename, FILE_IGNORE_NEW_LINES);

foreach($lines as $value) {
   $arr = explode(' ', $value);
   $domainarr[] = $arr[5];
}

$occurence = array_count_values($domainarr);

print_r($occurence);
?>

Answer 2

Cat 有点不小心，所以让我们试着帮点忙。这是一个 PowerShell 解决方案。如果您对其工作方式有疑问，我鼓励您研究各个部分。

如果你的文本文件是 "D:\temp\test.txt" 那么你可以这样做。

$results = Select-String -Path D:\temp\test.txt -Pattern "(?<=sent: ).+(?= type)" | Select -Expand Matches | Select -Expand Value
$results | Group-Object | Select-Object Name,Count | Sort-Object Count -Descending

使用你的输入你会得到这个输出

Name             Count
----             -----
ns1.example.com.     2
www.example.com.     1

因为有正则表达式我已经保存了一个link that explains how it works。

请记住，SO 当然是一个帮助程序员和编程爱好者的站点。我们将空闲时间投入到一些人为此获得报酬的地方。

Answer 3

这是批量的：

@echo off
setlocal enabledelayedexpansion
if exist temp.txt del temp.txt
for /f "tokens=6" %%a in (input.txt) do (Echo %%a >> temp.txt)
for /f %%a in (temp.txt) do (
set /a count=0
set v=%%a
if "!%%a!" EQU "" (
for /f %%b in ('findstr /L "%%a" "temp.txt"') do set /a count+=1
set %%a=count
Echo !v:~0,-1! ^(!count!^)
)
)
del temp.txt

目前它正在将其打印到屏幕上。如果您想将其重定向到文本文件，请替换：

Echo !v:~0,-1! ^(!count!^)

与：

Echo !v:~0,-1! ^(!count!^) >> output.txt

这输出：

www.example.com (1)
ns1.example.com (2)

有样本数据

Answer 4

这个批处理文件解决方案应该运行更快：

@echo off
setlocal

rem Accumulate each occurance in its corresponding array element
for /F "tokens=6" %%a in (input.txt) do set /A "count[%%a]+=1"

rem Show the result
for /F "tokens=2,3 delims=[]=" %%a in ('set count[') do echo %%a (%%b)

输出：

ns1.example.com. (2)
www.example.com. (1)

要将结果存储在文件中，将最后一行更改为：

(for /F "tokens=2,3 delims=[]=" %%a in ('set count[') do echo %%a (%%b^)) > output.txt

计算文件中未知字符串最常见的出现次数

Count the most common occurrences of a unknown strings in a file

windows

dns

powershell

batch-file

logfile-analysis