pgbouncer-rr 查询重写失败

Question

我正在使用 pgbouncer-rr 在 redshift 集群中进行查询重写（pgbouncer 调用 rewrite_query.py 进行重写，这里是 link 有关此项目的更多信息 - https://github.com/awslabs/pgbouncer-rr-patch). pgbouncer-rr基于pgbouncer，其代码合并到pgbouncer中启动。我一直在成功地使用它来重写查询，但是当我尝试将插入语句转换为卸载到外部 table 时，我运行遇到了问题。

执行流程为pgbouncer -> rewrite.c -> pycall.c -> rewrite_query.py

在 python 模块中，我编写了 orig 并转换了 sql，这是它在日志中的样子 - 所以 python 模块能够毫无问题地进行转换.

06:03:35AM on January 31, 2019 ---- INSERT INTO nm1(c1) select c1 from t
06:03:35AM on January 31, 2019 ---- CONVERTED TO:
06:03:35AM on January 31, 2019 ---- unload (' SELECT c1 FROM t' ) to 's3://mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from x.nm1;

但是当你看到 pgbouncer 日志时，查询 return 没有改变。

2019-01-31 06:28:20.980 989 NOISE C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pkt='Q' len=42
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Username => dbuser
2019-01-31 06:28:20.980 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 rewrite_query: Orig Query=> INSERT INTO nm1(c1) select c1 from t
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 pValue right after the call PyString_AsString(pValue): unload (' SELECT c1 FROM t' ) to 's3:
//mybucket/nm1/' iam_role 'arn:aws:iam::99999:role/RedshiftDefaultRole,arn:aws:iam::99999:role/RedshiftWriteAccess' ALLOWOVERWRITE ; insert into schema1.nm1_decoy select (1) from crm_unload.nm1;
2019-01-31 06:28:21.011 989 WARNING C-0x22ebe60: dev/dbuser@10.10.10.10:57222 Result after PyString_AsString(pValue) and in else NULL condition: (null)
2019-01-31 06:28:21.011 989 DEBUG C-0x22ebe60: dev/dbuser@10.10.10.10:57222 query unchanged

这里是调用rewrite_query.py模块进行转换的代码pgbouncer/src/pycall.c。我不了解 C 数据结构以及它如何与 python 交互，只是将日志 slog_error 语句用于调试目的。看起来由于某种原因它进入了 PyString_Check(pValue) 检查的 else 条件。为什么 pValue 是字符串时检查失败？因此，在 if PyString_Check(pValue) 检查失败后，基本上不是 returning 卸载查询它的 returning 回插入语句。

pValue = PyObject_CallObject(pFunc, pArgs);
        slog_warning(client,"pValue right after the call PyString_AsString(pValue): %s", PyString_AsString(pValue));
        if (pValue == NULL) {
                slog_error(client, "Python Function <%s> failed to return a value",
                                py_function);
                goto finish;
        }
        if (PyString_Check(pValue)) {
                slog_warning(client,"PyStringCheck succeeded on rewrite query return value pValue.");
                res = strdup(PyString_AsString(pValue));
                slog_warning(client,"Result after PyString_AsString(pValue) and strdup() call: %s",res);
        } else {
                res = NULL;
                slog_warning(client,"Result after PyString_AsString(pValue) and in else NULL condition: %s",res);
        }

Answer 1

这是由于 python 对象类型从 str 更改为 Unicode。我正在使用 sqlparse do 进行解析，并且此模块正在将变量转换为 unicode 并且未通过 PyString_Check 检查。为了解决这个问题，在调用 sqlparse 之后，我在 python（版本是 2.7.15）中将变量的编码转换为 ascii - varname.encode("ascii")

pgbouncer-rr 查询重写失败

pgbouncer-rr is failing in query rewrite

c

pgbouncer