Lua - 转义特殊字符的变量(对)串联 - Openresty Nginx

Lua - Concatenation of variables (pairs) escaping special characters - Openresty Nginx

我不使用 Lua,但需要将其与 link.

中提供的 Openresty (nginx) 一起使用

Openresty 有一个 lua 模块 我设法安装了它并且 运行 Openresty nginx 版本正确,网站正常运行。

这个 answer 展示了如何将 headers 连接成一个字符串 $request_headers:

set_by_lua $request_headers '
  local h = ngx.req.get_headers()
  local request_headers_all = ""
  for k, v in pairs(h) do
    request_headers_all = request_headers_all .. "["..k..": "..v..\n"]"
  end
  return request_headers_all
';

我在上面的 lua 函数中将格式从 ""..k..": "..v..";" 更改为 "["..k..": "..v.."]"

日志格式:

log_format log_realip 'Host: "$host", Via : "$http_via", RemoteAddr: "$remote_addr", XForwardedFor: "$h
ttp_x_forwarded_for", 'RealIPRemoteAddr: "$realip_remote_addr" - $status - "$request_uri" - **"[HEADERS]" - $request_headers';**
Host: "192.168.1.4", Via : "-", 
//trimmed just to show the [HEADERS]
....
"[HEADERS]" - [sec-ch-ua: \x22Chromium\x22;v=\x2288\x22, \x22Google Chrome\x22;v=\x228
8\x22, \x22;Not A Brand\x22;v=\x2299\x22][sec-ch-ua-mobile: ?0][cookie: __utmz=abcdef; frontend=abcdef; adminhtml=abcdef
08; TestName=Some Value][upgrade-insecure-requests: 1][accept-language: en-US,en;q=0.9][user-agent: Mozilla/5.0
 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36][accept
-encoding: gzip, deflate, br][accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/we
bp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9][sec-fetch-dest: document][host: 192.168.1.4][se
c-fetch-user: ?1][connection: keep-alive][sec-fetch-mode: navigate][cache-control: max-age=0][sec-fetch-site: n
one

log_format$request_headers 字符串一起使用时,我在一行中得到了所有 headers ,但我正在尝试创建一个 newline \n 将字符串分成几行。上面的示例是我添加 \n 但似乎没有将 break 输出到日志文件的地方。

我知道 request_headers_all .. 连接字符串,但是 key kvalue v 发生了什么:""..k..": "..v..\n""?

"..variablename.." 在做什么,这就是变量在 Lua 字符串中的使用方式吗?

我怎样才能在该字符串中创建换行符?还是nginx(openresty)不输出换行符?

request_headers_all = request_headers_all .. "["..k..": "..v..\n"]"

包含语法错误。将 "["..k..": "..v..\n"]" 替换为 "["..k..": "..v.."]\n"

换行符需要在引号内,因为它是字符串的一部分,在括号后添加新行可能是有意义的。

What is the "..variablename.." doing, is this how variables are always used inside Lua strings?

在变量上使用连接运算符连接字符串值,连接其字符串表示形式(如果它是数字)或调用 __concat,如果两者都不为真则引发错误。

阅读https://www.lua.org/manual/5.4/manual.html#3.4.6

你把\n加错地方了,可以改成 request_headers_all = request_headers_all .. "["..k..": "..v.."]\n" 换行日志。

在lua中,..是一个concat操作符,用来连接字符串,例如:

print("hello" .. "world")

得到结果helloworld.

您的代码 \n"]" 有语法错误,因为 \n 不在字符串中。

lua字符串不能直接使用变量,一般情况下,lua对复杂的字符串使用string.format。例如:

local test = "hello"
string.format("%s world",test) -- hello world

您可以使用 string.format 进行字符串连接。 此外,您可以使用 table.concat 来连接字符串。 例如:

local test = {}
table.insert(test, "hello")
table.insert(test, "world")
local concated_string = table.concat(test, ' ')
print(concated_string) -- hello world

以上答案给了我一些指导,但建议的格式仍然无效。在尝试 string.format("%s %s\n", k, v)string.format("%s %s\n", k, v) 之后,我仍然遇到 unfinished string 错误或没有换行符输出。 (在第二个示例中尝试转义字符串)。

根据给出的答案,我假设答案提供了正确的 lua 信息,因此决定很可能 lua + openresty 做了一些不同的事情。

我会尝试更新标题以反映更具体的要求

TLDR

  1. Openresty + lua 对特殊字符的字符串操作可能无法按预期工作,即使使用 string.format()
  2. set_by_lua 将 returns 一个字符串更改为 set_by_lua_block,这样可以更好地 string.format() 或字符串连接。
  3. 使用 custom/existing log_format 更新 nginx 配置并添加开关 escape=none.

完整说明

调查提供的 link 答案 set_by_lua 函数文档:

NOTE Use of this directive is discouraged following the v0.9.17 release. Use the set_by_lua_block directive instead.

所以从原来的set_by_lua从link:

set_by_lua $request_headers '
  return 'stringvalue'
';

我改为set_by_lua_block函数:

this directive inlines the Lua source directly inside a pair of curly braces ({}) instead of in an Nginx string literal (which requires special character escaping)

set_by_lua_block $request_headers{
  local h = ngx.req.get_headers()
  local request_headers_all = ""
  for k, v in pairs(h) do
    local rowtext = ""
    rowtext = string.format("[%s %s]\n", k, v)
    request_headers_all = request_headers_all .. rowtext

  end
  return request_headers_all
}

重要的是这个 _block {} 函数正确地转义了特殊字符。

之后我在日志文件中收到如下输出:x0A(换行符文字)。

最后一步是用自定义 log_format 更新 nginx.conf 文件并添加 escape=none:

log_format log_realip escape=none "$nginx_variables"

这里的主要question/problem是wrapper软件如何处理换行符characters/escapes,是否期待"\n"?还是期待 "\r\n"?

最终,新行在被解释和打印之前实际上并不存在,并且您正在创建一个巨大的字符串,该字符串从 Lua 引擎返回到包装器,因此取决于包装器软件如何解释新行。

编辑:我错过了已经使用其他解析函数回答了这个问题。

另外文档状态使用原始解析函数转义需要双转义

Here, \\d+ is stripped down to \d+ by the Nginx config file parser and this is further stripped down to \d+ by the Lua language parser before running.