如何从多个网页下载文本到文件?
How to download text from many webpages to file?
我正在尝试下载波兰语词典。不幸的是,existing files 包含所有变形(不确定正确的英文单词是什么)。我发现命令
lynx --dump https://sjp.pl/slownik/lp.phtml?f_vl=2&page=1 > file.txt
可以下载单个词典网页。然后我将不得不以某种方式只从文本块中提取字典条目,但至少这是一个开始。
不幸的是,我是一个 linux 菜鸟,不知道如何遍历所有 3067 页。
未经测试,但您应该能够使用 GNU Parallel
快速轻松地完成此操作
parallel -qk 'lynx --dump https://sjp.pl/slownik/lp.phtml?f_vl=2&page={}' ::: {1..3067} > file.txt
如果不起作用,请尝试删除单引号。如果这不起作用,请尝试在 &
前加一个反斜杠。不好意思,暂时没办法测试。
慢的方式是:
for ((i=1;i<3068;i++)) ; do
lynx --dump ...page=$i
done > file.txt
我正在尝试下载波兰语词典。不幸的是,existing files 包含所有变形(不确定正确的英文单词是什么)。我发现命令
lynx --dump https://sjp.pl/slownik/lp.phtml?f_vl=2&page=1 > file.txt
可以下载单个词典网页。然后我将不得不以某种方式只从文本块中提取字典条目,但至少这是一个开始。
不幸的是,我是一个 linux 菜鸟,不知道如何遍历所有 3067 页。
未经测试,但您应该能够使用 GNU Parallel
快速轻松地完成此操作parallel -qk 'lynx --dump https://sjp.pl/slownik/lp.phtml?f_vl=2&page={}' ::: {1..3067} > file.txt
如果不起作用,请尝试删除单引号。如果这不起作用,请尝试在 &
前加一个反斜杠。不好意思,暂时没办法测试。
慢的方式是:
for ((i=1;i<3068;i++)) ; do
lynx --dump ...page=$i
done > file.txt