如何在命令行中清理并找到好的url？

Question

我有一个 URL 列表，我想测试它们以仅获得一个工作。

所以我想做：

cat URLs.txt | testURLs > GoodURLs.txt

你知道怎么做吗？也许 ping 或 wget 会有用？？？

Answer 1

我发现 "curl" 对于这种检查通常比 ping 或 wget 更好。你可以使用这样的东西：

#!/bin/bash
file=
while IFS= read -r line
do
    curl $line >/dev/null 2>&1
    if [ "$?" -eq "0" ]
    then
        echo "$line"
    fi
done < $file

执行方式稍有变化，但与您的想法非常相似。不要忘记使用 chmod 使其可执行。

chmod u+x testURLs
./testURLs URLs.txt > GoodURLs.txt

How to clean and find good url in command lines?