无法将 PPGool 与 Amazon RDS Postgres 一起使用
Can't use PGPool with Amazon RDS Postgres
我有一个带多可用区的 Postgres 9.4 RDS 实例，还有一个从属、只读副本。
到目前为止，负载平衡是在我的应用程序的业务层进行的，但效率低下，我希望使用 PPGool，因此该应用程序与单个 Postgres 连接进行交互。
事实证明，使用 PPGool 一直是一件令人头疼的事情。如果我将它设置为负载均衡器，简单的 SELECT 查询会抛出如下错误：
SQLSTATE[HY000]: General error: 7
message contents do not agree with length in message type "N"
server sent data ("D" message)
without prior row description ("T" message)
如果我将它设置为在 master/slave 模式下使用流复制（如 suggested in Postgres mail list），我得到：
psql: ERROR: MD5 authentication is unsupported
in replication and master-slave modes.
HINT: check pg_hba.conf
是的，好吧，pg_hba.conf 如果不在 RDS 中，那么我无法更改它。
有没有人让 PPGool 在 RDS 中工作？是否有其他工具可以充当中间件来利用 RDS 中的读取副本？
Citus(pgShard) 应该可以与标准的 Amazon RDS 实例一起使用。虽然它有收获。如果您使用开源版本，您将遇到单点故障。它的协调器节点不重复。
您可以获得它的完全 HA 无缝故障转移版本，但您必须购买企业许可证，但它非常昂贵。它每年很容易花费 50,000 到 100,000 美元或更多。
而且他们现在真的在推他们的云版本，这更贵得离谱。
我也听说有人使用 HAProxy 在 Postgres 或 MySql 节点之间进行平衡。
我能够让它工作这里是我的工作配置文件：
您必须使用 md5 身份验证，并将 username/password 从您的数据库同步到 pool_passwd 文件。还需要 enable_pool_hba、load_balance_mode 和 master_slave_mode。
pgpool.conf
listen_addresses = '*'
port = 9999
pcp_listen_addresses = '*'
pcp_port = 9898
pcp_socket_dir = '/tmp'
listen_backlog_multiplier = 1
backend_hostname0 = 'master-rds-database-with-multi-AZ.us-west-2.rds.amazonaws.com'
backend_port0 = 5432
backend_weight0 = 0
backend_flag0 = 'ALWAYS_MASTER'
backend_hostname1 = 'readonly-replica.us-west-2.rds.amazonaws.com'
backend_port1 = 5432
backend_weight1 = 999
backend_flag1 = 'ALWAYS_MASTER'
enable_pool_hba = on
pool_passwd = 'pool_passwd'
ssl = on
num_init_children = 1
max_pool = 2
connection_cache = off
replication_mode = off
load_balance_mode = on
master_slave_mode = on
pool_hba.conf
local all all md5
host all all 127.0.0.1/32 md5
pool_passwd
username:md5d51c9a7e9353746a6020f9602d452929
要更新 pool_password，您可以使用 pg_md5 或
echo username:md5`echo -n usernamepassword | md5sum`
username:md5d51c9a7e9353746a6020f9602d452929 -
运行 示例的输出：
psql --dbname=database --host=localhost --username=username --port=9999
database=> SHOW POOL_NODES;
node_id | hostname | port | status | lb_weight | role | select_cnt | load_balance_node | replication_delay
---------+-------------------------------------------------+------+--------+-----------+---------+------------+-------------------+-------------------
0 | master-rds-database.us-west-2.rds.amazonaws.com | 8193 | up | 0.000000 | primary | 0 | false | 0
1 | readonly-replica.us-west-2.rds.amazonaws.com | 8193 | up | 1.000000 | standby | 0 | true | 0
database=> select now();
node_id | hostname | port | status | lb_weight | role | select_cnt | load_balance_node | replication_delay
---------+-------------------------------------------------+------+--------+-----------+---------+------------+-------------------+-------------------
0 | master-rds-database.us-west-2.rds.amazonaws.com | 8193 | up | 0.000000 | primary | 0 | false | 0
1 | readonly-replica.us-west-2.rds.amazonaws.com | 8193 | up | 1.000000 | standby | 1 | true | 1
database=> CREATE TABLE IF NOT EXISTS tmp_test_read_write ( data varchar(40) );
CREATE TABLE
database=> INSERT INTO tmp_test_read_write (data) VALUES (concat('',inet_server_addr()));
INSERT 0 1
database=> select data as master_ip,inet_server_addr() as replica_ip from tmp_test_read_write;
master_ip | replica_ip
--------------+---------------
172.31.37.69 | 172.31.20.121
(1 row)
您还可以从日志 id 中看到两个数据库：
2018-10-16 07:56:37: pid 124528: LOG: DB node id: 0 backend pid: 21731 statement: CREATE TABLE IF NOT EXISTS tmp_test_read_write ( data varchar(40) );
2018-10-16 07:56:47: pid 124528: LOG: DB node id: 0 backend pid: 21731 statement: INSERT INTO tmp_test_read_write (data) VALUES (concat('',inet_server_addr()));
2018-10-16 07:56:52: pid 124528: LOG: DB node id: 1 backend pid: 24890 statement: select data as master_ip,inet_server_addr() as replica_ip from tmp_test_read_write;
注意 insert 使用了 master 的 ip_address，下一个 select 使用了 read only replica 的 ip_address。
我可以在更多测试后更新，但 psql 客户端测试看起来很有希望。
我有一个带多可用区的 Postgres 9.4 RDS 实例，还有一个从属、只读副本。
到目前为止，负载平衡是在我的应用程序的业务层进行的，但效率低下，我希望使用 PPGool，因此该应用程序与单个 Postgres 连接进行交互。
事实证明，使用 PPGool 一直是一件令人头疼的事情。如果我将它设置为负载均衡器，简单的 SELECT 查询会抛出如下错误：
SQLSTATE[HY000]: General error: 7
message contents do not agree with length in message type "N"
server sent data ("D" message)
without prior row description ("T" message)
如果我将它设置为在 master/slave 模式下使用流复制（如 suggested in Postgres mail list），我得到：
psql: ERROR: MD5 authentication is unsupported
in replication and master-slave modes.
HINT: check pg_hba.conf
是的，好吧，pg_hba.conf 如果不在 RDS 中，那么我无法更改它。
有没有人让 PPGool 在 RDS 中工作？是否有其他工具可以充当中间件来利用 RDS 中的读取副本？
Citus(pgShard) 应该可以与标准的 Amazon RDS 实例一起使用。虽然它有收获。如果您使用开源版本，您将遇到单点故障。它的协调器节点不重复。
您可以获得它的完全 HA 无缝故障转移版本，但您必须购买企业许可证，但它非常昂贵。它每年很容易花费 50,000 到 100,000 美元或更多。
而且他们现在真的在推他们的云版本，这更贵得离谱。
我也听说有人使用 HAProxy 在 Postgres 或 MySql 节点之间进行平衡。
我能够让它工作这里是我的工作配置文件：
您必须使用 md5 身份验证，并将 username/password 从您的数据库同步到 pool_passwd 文件。还需要 enable_pool_hba、load_balance_mode 和 master_slave_mode。
pgpool.conf
listen_addresses = '*'
port = 9999
pcp_listen_addresses = '*'
pcp_port = 9898
pcp_socket_dir = '/tmp'
listen_backlog_multiplier = 1
backend_hostname0 = 'master-rds-database-with-multi-AZ.us-west-2.rds.amazonaws.com'
backend_port0 = 5432
backend_weight0 = 0
backend_flag0 = 'ALWAYS_MASTER'
backend_hostname1 = 'readonly-replica.us-west-2.rds.amazonaws.com'
backend_port1 = 5432
backend_weight1 = 999
backend_flag1 = 'ALWAYS_MASTER'
enable_pool_hba = on
pool_passwd = 'pool_passwd'
ssl = on
num_init_children = 1
max_pool = 2
connection_cache = off
replication_mode = off
load_balance_mode = on
master_slave_mode = on
pool_hba.conf
local all all md5
host all all 127.0.0.1/32 md5
pool_passwd
username:md5d51c9a7e9353746a6020f9602d452929
要更新 pool_password，您可以使用 pg_md5 或
echo username:md5`echo -n usernamepassword | md5sum`
username:md5d51c9a7e9353746a6020f9602d452929 -
运行 示例的输出：
psql --dbname=database --host=localhost --username=username --port=9999
database=> SHOW POOL_NODES;
node_id | hostname | port | status | lb_weight | role | select_cnt | load_balance_node | replication_delay
---------+-------------------------------------------------+------+--------+-----------+---------+------------+-------------------+-------------------
0 | master-rds-database.us-west-2.rds.amazonaws.com | 8193 | up | 0.000000 | primary | 0 | false | 0
1 | readonly-replica.us-west-2.rds.amazonaws.com | 8193 | up | 1.000000 | standby | 0 | true | 0
database=> select now();
node_id | hostname | port | status | lb_weight | role | select_cnt | load_balance_node | replication_delay
---------+-------------------------------------------------+------+--------+-----------+---------+------------+-------------------+-------------------
0 | master-rds-database.us-west-2.rds.amazonaws.com | 8193 | up | 0.000000 | primary | 0 | false | 0
1 | readonly-replica.us-west-2.rds.amazonaws.com | 8193 | up | 1.000000 | standby | 1 | true | 1
database=> CREATE TABLE IF NOT EXISTS tmp_test_read_write ( data varchar(40) );
CREATE TABLE
database=> INSERT INTO tmp_test_read_write (data) VALUES (concat('',inet_server_addr()));
INSERT 0 1
database=> select data as master_ip,inet_server_addr() as replica_ip from tmp_test_read_write;
master_ip | replica_ip
--------------+---------------
172.31.37.69 | 172.31.20.121
(1 row)
您还可以从日志 id 中看到两个数据库：
2018-10-16 07:56:37: pid 124528: LOG: DB node id: 0 backend pid: 21731 statement: CREATE TABLE IF NOT EXISTS tmp_test_read_write ( data varchar(40) );
2018-10-16 07:56:47: pid 124528: LOG: DB node id: 0 backend pid: 21731 statement: INSERT INTO tmp_test_read_write (data) VALUES (concat('',inet_server_addr()));
2018-10-16 07:56:52: pid 124528: LOG: DB node id: 1 backend pid: 24890 statement: select data as master_ip,inet_server_addr() as replica_ip from tmp_test_read_write;
注意 insert 使用了 master 的 ip_address，下一个 select 使用了 read only replica 的 ip_address。
我可以在更多测试后更新，但 psql 客户端测试看起来很有希望。