MacOS上的批处理文件执行lynx命令下载网站列表
Batch file on Macos to execute lynx command to download a list of websites
我正在尝试为一项研究准备定性数据集。我有一个很大的网站列表，我根据某些主题对其进行了分类。我需要的并不复杂，但超出了我对命令行的了解。
我需要使用 lynx 命令行工具将各种网站转储到 .txt 文件。如：lynx -dump -nolist "https://en.wikipedia.org/wiki/Turkey" > file.txt
我有一个包含 1000 个网站的列表，因此几乎不可能一一完成。
例如，我如何在 mac osx 上创建脚本以从文本文件中获取列表并将所有内容转储到一个文本文件中。如果不可能在一个文本文件上执行此操作，我该如何通过分别创建一个新文件来相互跟踪来执行此操作。文件名本身可以是 file(1)、file(2) 等等。但无论如何，一个转储文件会更好。
那可能吗？或者这可以通过简单的编程来完成吗？
提前致谢。
我建议 bash one-liner 这样：
while read l; do echo "##########"; echo $l; echo "##########"; lynx -dump -nolist "$l"; done < sites.txt > results.txt
假定您的列表位于名为 sites.txt 的文件中，并且您希望结果位于名为 results.txt.
的文件中
或者，如果您使用 homebrew，您可以像这样安装 GNU Parallel：
brew install parallel
然后通过以下方式更快地完成工作：
parallel -j 16 -a sites.txt lynx -dump -nolist > results.txt
我正在尝试为一项研究准备定性数据集。我有一个很大的网站列表，我根据某些主题对其进行了分类。我需要的并不复杂，但超出了我对命令行的了解。 我需要使用 lynx 命令行工具将各种网站转储到 .txt 文件。如：lynx -dump -nolist "https://en.wikipedia.org/wiki/Turkey" > file.txt 我有一个包含 1000 个网站的列表，因此几乎不可能一一完成。 例如，我如何在 mac osx 上创建脚本以从文本文件中获取列表并将所有内容转储到一个文本文件中。如果不可能在一个文本文件上执行此操作，我该如何通过分别创建一个新文件来相互跟踪来执行此操作。文件名本身可以是 file(1)、file(2) 等等。但无论如何，一个转储文件会更好。 那可能吗？或者这可以通过简单的编程来完成吗？ 提前致谢。
我建议 bash one-liner 这样：
while read l; do echo "##########"; echo $l; echo "##########"; lynx -dump -nolist "$l"; done < sites.txt > results.txt
假定您的列表位于名为 sites.txt 的文件中，并且您希望结果位于名为 results.txt.
或者，如果您使用 homebrew，您可以像这样安装 GNU Parallel：
brew install parallel
然后通过以下方式更快地完成工作：
parallel -j 16 -a sites.txt lynx -dump -nolist > results.txt