存储 awk 查询的状态
Storing the state of an awk query
非常感谢您查看我的帖子。我正在寻找一个脚本来读取非常大的域列表,查看哪些域已解析,然后仅将已解析的域存储到另一个文件。
我目前在脚本中有这个:
nslookup < input.txt - 1.1.1.1 -port=53 2>&1 |
awk '
NR==FNR { list[NR] = [=10=]; next }
/^Name:/ { ++numResults; state="found" }
/Non-existent domain/ { ++numResults; state="not found" }
/NXDOMAIN/ { ++numResults; state="not found" }
/No answer/ { ++numResults; state="not found" }
state == "found" { print list[numResults]; state="" }
' input.txt - >> output.txt
我也尝试了额外的一行:
/[Cc]an.t find/ { ++numResults; state="not found" }
但不知何故 columns/rows 没有排队。例如,在这一行中添加从输出中隐藏 total_garbage.com(total_garbage.com 不会 nslookup 到包含单词 'Can.t find' 的结果,所以我不知道发生了什么)
问题是
1 它没有处理“无法找到”/'No answer' 情况(00038a.net 仍然打印)
2 它没有处理 'NXDOMAIN' 案例(total_garbage.com 仍然打印)
3 它不处理 'Name' 情况 (0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-输出中缺少 0-0-0-0-0-0-0-0-0-0-0.info)
4 最后打印了很多换行符(你可以在我的输出中看到空格)
我的脚本输入示例:
google.ca
comingsoon.brightside.com
00038a.net
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
total_garbage.com
我的脚本的期望输出:
google.ca
comingsoon.brightside.com
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
实际输出:
google.ca
comingsoon.brightside.com
00038a.net
total_garbage.com
nslookup < input.txt
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
Name: google.ca
Address: 216.58.192.131
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
comingsoon.brightside.com canonical name = elb-brightside-17469.aptible.in.
Name: elb-brightside-17469.aptible.in
Address: 54.86.171.167
Name: elb-brightside-17469.aptible.in
Address: 54.174.154.102
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
*** Can't find 00038a.net: No answer
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.226
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.211
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.202
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 85.17.31.122
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 85.17.31.82
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 5.79.71.225
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 5.79.71.205
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.217.107
Server: 127.0.0.1
Address: 127.0.0.1#53
** server can't find total_garbage.com: NXDOMAIN
这是您想要做的吗(使用 cat nslookup.out |
来测试您提供的样本,而不是在本地使用 运行 nslookup ... |
,这会产生与您想要的 awk 不同的输出要解析的脚本)?
$ cat tst.sh
#!/bin/env bash
#nslookup < input.txt 2>&1 |
cat nslookup.out |
awk '
NR==FNR { list[NR] = [=10=]; next }
/^Name:/ { state="found" }
/[Cc]an7t find/ { state="not found" }
!NF && (state != "") {
++numResults
if ( state == "found" ) {
print list[numResults]
}
state=""
}
' input.txt -
$ ./tst.sh
google.ca
comingsoon.brightside.com
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
过去的尝试:
$ cat gravity.list
comingsoon.brightside.com
total_garbage.com
google.com
$ cat tst.sh
#!/bin/env bash
nslookup < gravity.list 2>&1 |
awk '
NR==FNR { list[NR] = [=11=]; next }
/^Name:/ { result = $NF }
/Non-existent domain/ { result = "not found" }
result != "" { print list[++numResults], "->", result; result="" }
' gravity.list -
$ ./tst.sh
comingsoon.brightside.com -> elb-brightside-17469.aptible.in
total_garbage.com -> not found
google.com -> google.com
还是这个?
$ cat tst.sh
#!/bin/env bash
nslookup < gravity.list 2>&1 |
awk '
NR==FNR { list[NR] = [=12=]; next }
/^Name:/ { ++numResults; state="found" }
/Non-existent domain/ { ++numResults; state="not found" }
state == "found" { print list[numResults]; state="" }
' gravity.list -
$ ./tst.sh
comingsoon.brightside.com
google.com
非常感谢您查看我的帖子。我正在寻找一个脚本来读取非常大的域列表,查看哪些域已解析,然后仅将已解析的域存储到另一个文件。
我目前在脚本中有这个:
nslookup < input.txt - 1.1.1.1 -port=53 2>&1 |
awk '
NR==FNR { list[NR] = [=10=]; next }
/^Name:/ { ++numResults; state="found" }
/Non-existent domain/ { ++numResults; state="not found" }
/NXDOMAIN/ { ++numResults; state="not found" }
/No answer/ { ++numResults; state="not found" }
state == "found" { print list[numResults]; state="" }
' input.txt - >> output.txt
我也尝试了额外的一行:
/[Cc]an.t find/ { ++numResults; state="not found" }
但不知何故 columns/rows 没有排队。例如,在这一行中添加从输出中隐藏 total_garbage.com(total_garbage.com 不会 nslookup 到包含单词 'Can.t find' 的结果,所以我不知道发生了什么)
问题是
1 它没有处理“无法找到”/'No answer' 情况(00038a.net 仍然打印)
2 它没有处理 'NXDOMAIN' 案例(total_garbage.com 仍然打印)
3 它不处理 'Name' 情况 (0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-输出中缺少 0-0-0-0-0-0-0-0-0-0-0.info)
4 最后打印了很多换行符(你可以在我的输出中看到空格)
我的脚本输入示例:
google.ca
comingsoon.brightside.com
00038a.net
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
total_garbage.com
我的脚本的期望输出:
google.ca
comingsoon.brightside.com
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
实际输出:
google.ca
comingsoon.brightside.com
00038a.net
total_garbage.com
nslookup < input.txt
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
Name: google.ca
Address: 216.58.192.131
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
comingsoon.brightside.com canonical name = elb-brightside-17469.aptible.in.
Name: elb-brightside-17469.aptible.in
Address: 54.86.171.167
Name: elb-brightside-17469.aptible.in
Address: 54.174.154.102
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
*** Can't find 00038a.net: No answer
Server: 127.0.0.1
Address: 127.0.0.1#53
Non-authoritative answer:
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.226
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.211
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.203.202
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 85.17.31.122
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 85.17.31.82
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 5.79.71.225
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 5.79.71.205
Name: 0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
Address: 178.162.217.107
Server: 127.0.0.1
Address: 127.0.0.1#53
** server can't find total_garbage.com: NXDOMAIN
这是您想要做的吗(使用 cat nslookup.out |
来测试您提供的样本,而不是在本地使用 运行 nslookup ... |
,这会产生与您想要的 awk 不同的输出要解析的脚本)?
$ cat tst.sh
#!/bin/env bash
#nslookup < input.txt 2>&1 |
cat nslookup.out |
awk '
NR==FNR { list[NR] = [=10=]; next }
/^Name:/ { state="found" }
/[Cc]an7t find/ { state="not found" }
!NF && (state != "") {
++numResults
if ( state == "found" ) {
print list[numResults]
}
state=""
}
' input.txt -
$ ./tst.sh
google.ca
comingsoon.brightside.com
0-0-0-0-0-0-0-0-0-0-0-0-0-10-0-0-0-0-0-0-0-0-0-0-0-0-0.info
过去的尝试:
$ cat gravity.list
comingsoon.brightside.com
total_garbage.com
google.com
$ cat tst.sh
#!/bin/env bash
nslookup < gravity.list 2>&1 |
awk '
NR==FNR { list[NR] = [=11=]; next }
/^Name:/ { result = $NF }
/Non-existent domain/ { result = "not found" }
result != "" { print list[++numResults], "->", result; result="" }
' gravity.list -
$ ./tst.sh
comingsoon.brightside.com -> elb-brightside-17469.aptible.in
total_garbage.com -> not found
google.com -> google.com
还是这个?
$ cat tst.sh
#!/bin/env bash
nslookup < gravity.list 2>&1 |
awk '
NR==FNR { list[NR] = [=12=]; next }
/^Name:/ { ++numResults; state="found" }
/Non-existent domain/ { ++numResults; state="not found" }
state == "found" { print list[numResults]; state="" }
' gravity.list -
$ ./tst.sh
comingsoon.brightside.com
google.com