运行 bash 脚本使用 cat 输出的问题（额外引号）

Question

我的 apache 目录中有一个 bash 脚本，可以下载一些图片并对其进行优化。

我的脚本路径在：/var/www/site/storage/optimazer/photo_optimazer.sh

此脚本从 txt 文件获取一些命令并将其传递给 wget

#!/usr/bin/env bash
..
THREAD="$(cat ${THREAD_FILE})";
$(command -v wget) $THREAD
...

${THREAD_FILE} 的内容：

$ cat "${THREAD_FILE}"
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0" -np -r -l 1 -A "jpg" --ignore-case -P /var/www/optimazer/public/optimazed -x http://example.com

我尝试用在 /usr/local/bin/optimaze.sh

创建的另一个执行这个 bash

我必须这样做，因为它运行有系统服务。

这里是/usr/local/bin/optimaze.sh内容

#!/usr/bin/env bash

cd /var/www/site/storage/optimazer/
$(command -v bash) photo_optimazer.sh

现在，当我执行 optimaze.sh 时，它向我的 ${THREAD} 内容添加了一些额外的引号并破坏了脚本，我得到了一些这样的错误：

--2021-07-30 12:56:59--  http://(windows/
Resolving (windows ((windows)... failed: Name or service not known.
wget: unable to resolve host address ‘(windows’
--2021-07-30 12:56:59--  http://nt/
Resolving nt (nt)... failed: Name or service not known.
wget: unable to resolve host address ‘nt’
--2021-07-30 12:56:59--  http://10.0;/
Resolving 10.0; (10.0;)... failed: Name or service not known.
wget: unable to resolve host address ‘10.0;’
--2021-07-30 12:56:59--  http://win64;/
Resolving win64; (win64;)... failed: Name or service not known.
wget: unable to resolve host address ‘win64;’
--2021-07-30 12:56:59--  http://x64;/
Resolving x64; (x64;)... failed: Name or service not known.
wget: unable to resolve host address ‘x64;’
--2021-07-30 12:56:59--  ftp://rv/90.0)
           => ‘/var/www/scraper/public/***/3/rv/.listing’
Resolving rv (rv)... failed: Name or service not known.
wget: unable to resolve host address ‘rv’
--2021-07-30 12:56:59--  http://gecko/20100101
Resolving gecko (gecko)... failed: Name or service not known.
wget: unable to resolve host address ‘gecko’
--2021-07-30 12:56:59--  http://firefox/90.0%22
Resolving firefox (firefox)... failed: Name or service not known.
wget: unable to resolve host address ‘firefox’

我在 photo_optimazer.sh 中尝试 set -ex，看看会发生什么

 wget '--user-agent="Mozilla/5.0' '(Windows' NT '10.0;' 'Win64;' 'x64;' 'rv:90.0)' Gecko/20100101 'Firefox/90.0"' -np -A '"jpg,png"' --ignore-case --ignore-length -P /example/path -x http://example.com

它在我的 ${THREAD} 输出中添加了单引号，我不知道为什么！

我用GNU bash, version 4.2.46(2)-release (x86_64-redhat-linux-gnu)

Answer 1

如果您的参数不能包含换行符，请考虑将 THREAD_FILE（更好地命名为全小写，如 thread_file，以远离 reserved all-caps namespace）包含一个每行参数，没有任何 shell 语法:

--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0
-np
-r
-l
1
-A
jpg
--ignore-case
-P
/var/www/optimazer/public/optimazed
-x
http://example.com

完成后，您可以使用（在 bash 4.0 或更高版本中）readarray 或 mapfile 将该文件的每一行读入一个新的数组条目：

readarray -t wget_args <"$thread_file"

...然后将该数组扩展到您的 wget 命令行：

wget "${wget_args[@]}"

_{注意，关于上面提出的“保留的全大写命名空间”声明：POSIX 标准仅严格要求 POSIX 指定的工具仅使用全大写修改这些工具行为的环境变量的名称。然而：}

_{当环境变量和 shell 变量同名时，对 shell 变量的任何更改也将隐式修改环境变量.}
_{POSIX 工具被定义为仅使用全大写变量的目的是使具有至少一个小写变量的变量名称可供应用程序安全使用.}

_{当全大写变量用于应用程序定义的目的时，这样做会放弃 POSIX 限制内置工具的好处。}

Answer 2

对于这种特殊情况，一个想法是将每一行提供给 xargs。

对于示例数据，我将 OP 的 $THREAD_FILE:

加倍

$ cat tfile
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0" -np -r -l 1 -A "jpg" --ignore-case -P /var/www/optimazer/public/optimazed -x http://example.com
--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0" -np -r -l 1 -A "jpg" --ignore-case -P /var/www/optimazer/public/optimazed -x http://example.com

第一次通过 xargs：

cat tfile | xargs -r wget

或者我们可以通过直接将文件提供给xargs来消除不必要的cat:

xargs -r -a tfile wget

KamilCuk 的一些变体 comment/suggestion:

xargs -r < tfile wget
xargs -r wget < tfile
< tfile xargs -r wget

如果我们处理变量（如 OP 示例）：

thread=$(head -1 tfile)
xargs -r wget <<< "${thread}"

并扩展 <<< "${thread}" 示例...在循环中使用它（例如，需要对多行输入文件中的每一行执行额外处理）：

while read -r thread
do
    xargs -r wget <<< "${thread}"
done < tfile

所有这些为处理的每一行生成以下内容：

--2021-07-31 13:50:41--  http://example.com/
Resolving example.com (example.com)... 93.184.216.34, 2606:2800:220:1:248:1893:25c8:1946
Connecting to example.com (example.com)|93.184.216.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1256 (1.2K) [text/html]
Saving to: ‘/var/www/optimazer/public/optimazed/example.com/index.html.tmp’

example.com/index.html.tmp               100%[================================================================================>]   1.23K  --.-KB/s    in 0.001s

2021-07-31 13:50:41 (1.25 MB/s) - ‘/var/www/optimazer/public/optimazed/example.com/index.html.tmp’ saved [1256/1256]

Removing /var/www/optimazer/public/optimazed/example.com/index.html.tmp since it should be rejected.

运行 bash 脚本使用 cat 输出的问题（额外引号）

Problem with run bash script using cat output ( extra quotes )

linux

bash

shell

unix

centos