如何调整 redis 设置以与 Heroku-redis 兼容?
How do I adjust redis settings to play well with Heroku-redis?
我有几个包含某种 Redis 后端的设置配置,它们各不相同。
django-channels 需要这个:
# REDIS BACKEND
redis_host = os.environ.get('REDIS_HOST', 'localhost')
# Channel layer definitions
# http://channels.readthedocs.org/en/latest/deploying.html#setting-up-a-channel-backend
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": [(redis_host, 6379)],
},
},
}
并利用这个 channels_redis 库。
我也有这个:
CACHES = {
'default': {
'BACKEND': 'django_redis.cache.RedisCache',
'LOCATION': f'{env("REDIS_URL", default="redis://127.0.0.1:6379")}/{0}',
'OPTIONS': {
'CLIENT_CLASS': 'django_redis.client.DefaultClient',
# Mimicing memcache behavior.
# http://niwinz.github.io/django-redis/latest/#_memcached_exceptions_behavior
'IGNORE_EXCEPTIONS': True,
}
}
}
由于 Cookiecutter-django 的默认缓存存储并使用 the django-redis 后端。
我现在正在尝试将应用程序上传到 Heroku,但 Heroku 要求我们使用他们的 Heroku-Redis addon。
部署我的应用程序后,我得到了我认为是 redis 的问题——在本地开发过程中发生的相同错误由 运行ning redis-server
在终端中解决,是应用程序部署到 Heroku 后弹出。
不幸的是,我能提供的唯一证明是这个输出:
2018-03-30T07:50:42.366099+00:00 heroku[router]: at=info method=GET path="/chat/loadhistory/" host=paira.herokuapp.com request_id=b52c5600-56c5-4711-b743-85df254bf9bb fwd="121.129.196.176" dyno=web.1 connect=0ms service=609ms status=101 bytes=145 protocol=https
2018-03-30T07:50:45.402850+00:00 heroku[router]: at=info method=GET path="/chat/stream/" host=paira.herokuapp.com request_id=a10fe599-0960-4836-af91-694b8041fc92 fwd="121.129.196.176" dyno=web.1 connect=0ms service=1016ms status=101 bytes=145 protocol=https
2018-03-30T07:50:45.696224+00:00 app[web.1]: 10.79.192.24:30767 - - [30/Mar/2018:16:49:48] "WSCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696234+00:00 app[web.1]: 10.79.192.24:30767 - - [30/Mar/2018:16:49:49] "WSDISCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696236+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:49] "WSCONNECTING /chat/stream/" - -
2018-03-30T07:50:45.696238+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:49] "WSCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696239+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:50] "WSDISCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696241+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:52] "WSCONNECTING /chat/loadhistory/" - -
2018-03-30T07:50:45.696243+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:52] "WSCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696244+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:53] "WSDISCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696246+00:00 app[web.1]: 10.11.169.30:26270 - - [30/Mar/2018:16:49:53] "GET /inbox/notifications/api/unread_list/?max=10" 200 475
2018-03-30T07:50:45.696248+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:53] "WSCONNECTING /chat/stream/" - -
2018-03-30T07:50:45.696249+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:53] "WSCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696251+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:54] "WSDISCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696252+00:00 app[web.1]: 10.13.221.137:33008 - - [30/Mar/2018:16:49:56] "WSCONNECTING /chat/loadhistory/" - -
这是当我打开正在加载 websockets 的页面时 Heroku 给我的输出。
在本地开发中,我会遇到相同的输出,但一旦我在终端中 运行 redis-server
,它们就会立即消失。
一些注意事项:Heroku 的帮助中心对这个问题的评论:
"I'm not familiar with using Redis with Django, but if the issue is
with your Redis connection string, then I would suggest using the
REDIS_URL for this – this string also includes your host, you
shouldn't need to set that as a separate config variable."
因此,使用我自己的环境变量,我将 REDIS_URL
设置为 Heroku 提供的环境变量。尽管他们说我不需要 "set [it] as a separate config variable",但我只从他们的 Redis 连接字符串中提取了 HOST 并将其设置为 REDIS_HOST
环境变量,因为看起来 Django-Channels CHANNEL_LAYERS
定义需要 redis_host
。
编辑:
我尝试删除没有帮助的 CACHES
设置。
编辑:
关于输出的更多背景信息——这是我将 reconnecting-websocket 库与 Django-channels 一起用于前端的结果。所以看起来 WS 连接反复尝试(或成功)连接,但随后立即断开连接。
我认为这不是 websocket 问题,因为它在本地运行良好。我还 有点 确认这不是与 WS 超时相关的问题,因为我收到了安德鲁的回复:
The underlying Daphne code will send PING requests to the client
periodically, adjustable with --ping-interval. If it doesn't get a
response back before --ping-timeout, it will close the connection.
Heroku have their own loadbalancer, so it's possible that is changing
how the sockets behave.
编辑:
好的,所以我缩小了范围:在本地,只有当我 运行 redis-server
而没有设置 REDIS_HOST
时,该应用程序才会运行。无论是否使用 REDIS_URL
,它都可以工作。
因此,如果我将 CHANNEL_LAYERS
下的 REDIS_HOST
更改为 localhost
以外的任何内容,它就会中断。
鉴于这似乎是瓶颈,我正在尝试将 Heroku 上的 REDIS_HOST
设置为我从 Heroku 提供的 REDIS_URL
字符串中提取的主机:redis://h:pf954cfs86918ca88905dcf8fef4546dbc2738d5895b12bc36ed2d058c387ec@ec2-33-201-236-230.compute-1.amazonaws.com:7719
这是整个字符串,所以我假设 HOST 只是:ec2-33-201-236-230.compute-1.amazonaws.com
。此外,我注意到 Heroku-Redis 在与 6379 不同的端口下提供了他们的 redis 实例。所以我也尝试像这样调整我的 Django 设置:
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": [(redis_host, 7719)],
},
},
}
还是不行..
有什么想法吗?
最终问题出在语义上,因为 differing/liberal 在频道文档中使用了术语。
简答:
像这样设置您的 CHANNEL_LAYERS
:
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": ["redis://h:954c886918c238905dc2c322c34546bd9dbc2738d32523b12bc36ed2d058c387ec@ec2-34-211-446-320.compute-1.amazonaws.com:7719"],
},
},
}
长答案:
Here and here、"redis-server-name" 和 "localhost" 实际上是指以 "redis://" 开头并以更传统的定义 "host" 结尾的整个 Redis URI 字符串--它包括 "redis://" + user + ":password" + "@host:"。
所以 here 它说 "host",你需要放置的不仅仅是主机。或者,您可以选择跳过元组并将整个 URI 作为字符串传递。
乍一看,如果您选择使用元组,我还没有弄清楚 Channels 到底想从您那里得到什么。我现在将使用 URI 字符串。
我有几个包含某种 Redis 后端的设置配置,它们各不相同。
django-channels 需要这个:
# REDIS BACKEND
redis_host = os.environ.get('REDIS_HOST', 'localhost')
# Channel layer definitions
# http://channels.readthedocs.org/en/latest/deploying.html#setting-up-a-channel-backend
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": [(redis_host, 6379)],
},
},
}
并利用这个 channels_redis 库。
我也有这个:
CACHES = {
'default': {
'BACKEND': 'django_redis.cache.RedisCache',
'LOCATION': f'{env("REDIS_URL", default="redis://127.0.0.1:6379")}/{0}',
'OPTIONS': {
'CLIENT_CLASS': 'django_redis.client.DefaultClient',
# Mimicing memcache behavior.
# http://niwinz.github.io/django-redis/latest/#_memcached_exceptions_behavior
'IGNORE_EXCEPTIONS': True,
}
}
}
由于 Cookiecutter-django 的默认缓存存储并使用 the django-redis 后端。
我现在正在尝试将应用程序上传到 Heroku,但 Heroku 要求我们使用他们的 Heroku-Redis addon。
部署我的应用程序后,我得到了我认为是 redis 的问题——在本地开发过程中发生的相同错误由 运行ning redis-server
在终端中解决,是应用程序部署到 Heroku 后弹出。
不幸的是,我能提供的唯一证明是这个输出:
2018-03-30T07:50:42.366099+00:00 heroku[router]: at=info method=GET path="/chat/loadhistory/" host=paira.herokuapp.com request_id=b52c5600-56c5-4711-b743-85df254bf9bb fwd="121.129.196.176" dyno=web.1 connect=0ms service=609ms status=101 bytes=145 protocol=https
2018-03-30T07:50:45.402850+00:00 heroku[router]: at=info method=GET path="/chat/stream/" host=paira.herokuapp.com request_id=a10fe599-0960-4836-af91-694b8041fc92 fwd="121.129.196.176" dyno=web.1 connect=0ms service=1016ms status=101 bytes=145 protocol=https
2018-03-30T07:50:45.696224+00:00 app[web.1]: 10.79.192.24:30767 - - [30/Mar/2018:16:49:48] "WSCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696234+00:00 app[web.1]: 10.79.192.24:30767 - - [30/Mar/2018:16:49:49] "WSDISCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696236+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:49] "WSCONNECTING /chat/stream/" - -
2018-03-30T07:50:45.696238+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:49] "WSCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696239+00:00 app[web.1]: 10.5.185.134:42175 - - [30/Mar/2018:16:49:50] "WSDISCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696241+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:52] "WSCONNECTING /chat/loadhistory/" - -
2018-03-30T07:50:45.696243+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:52] "WSCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696244+00:00 app[web.1]: 10.43.181.164:17852 - - [30/Mar/2018:16:49:53] "WSDISCONNECT /chat/loadhistory/" - -
2018-03-30T07:50:45.696246+00:00 app[web.1]: 10.11.169.30:26270 - - [30/Mar/2018:16:49:53] "GET /inbox/notifications/api/unread_list/?max=10" 200 475
2018-03-30T07:50:45.696248+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:53] "WSCONNECTING /chat/stream/" - -
2018-03-30T07:50:45.696249+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:53] "WSCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696251+00:00 app[web.1]: 10.228.182.163:23985 - - [30/Mar/2018:16:49:54] "WSDISCONNECT /chat/stream/" - -
2018-03-30T07:50:45.696252+00:00 app[web.1]: 10.13.221.137:33008 - - [30/Mar/2018:16:49:56] "WSCONNECTING /chat/loadhistory/" - -
这是当我打开正在加载 websockets 的页面时 Heroku 给我的输出。
在本地开发中,我会遇到相同的输出,但一旦我在终端中 运行 redis-server
,它们就会立即消失。
一些注意事项:Heroku 的帮助中心对这个问题的评论:
"I'm not familiar with using Redis with Django, but if the issue is with your Redis connection string, then I would suggest using the REDIS_URL for this – this string also includes your host, you shouldn't need to set that as a separate config variable."
因此,使用我自己的环境变量,我将 REDIS_URL
设置为 Heroku 提供的环境变量。尽管他们说我不需要 "set [it] as a separate config variable",但我只从他们的 Redis 连接字符串中提取了 HOST 并将其设置为 REDIS_HOST
环境变量,因为看起来 Django-Channels CHANNEL_LAYERS
定义需要 redis_host
。
编辑:
我尝试删除没有帮助的 CACHES
设置。
编辑:
关于输出的更多背景信息——这是我将 reconnecting-websocket 库与 Django-channels 一起用于前端的结果。所以看起来 WS 连接反复尝试(或成功)连接,但随后立即断开连接。
我认为这不是 websocket 问题,因为它在本地运行良好。我还 有点 确认这不是与 WS 超时相关的问题,因为我收到了安德鲁的回复:
The underlying Daphne code will send PING requests to the client periodically, adjustable with --ping-interval. If it doesn't get a response back before --ping-timeout, it will close the connection.
Heroku have their own loadbalancer, so it's possible that is changing how the sockets behave.
编辑:
好的,所以我缩小了范围:在本地,只有当我 运行 redis-server
而没有设置 REDIS_HOST
时,该应用程序才会运行。无论是否使用 REDIS_URL
,它都可以工作。
因此,如果我将 CHANNEL_LAYERS
下的 REDIS_HOST
更改为 localhost
以外的任何内容,它就会中断。
鉴于这似乎是瓶颈,我正在尝试将 Heroku 上的 REDIS_HOST
设置为我从 Heroku 提供的 REDIS_URL
字符串中提取的主机:redis://h:pf954cfs86918ca88905dcf8fef4546dbc2738d5895b12bc36ed2d058c387ec@ec2-33-201-236-230.compute-1.amazonaws.com:7719
这是整个字符串,所以我假设 HOST 只是:ec2-33-201-236-230.compute-1.amazonaws.com
。此外,我注意到 Heroku-Redis 在与 6379 不同的端口下提供了他们的 redis 实例。所以我也尝试像这样调整我的 Django 设置:
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": [(redis_host, 7719)],
},
},
}
还是不行..
有什么想法吗?
最终问题出在语义上,因为 differing/liberal 在频道文档中使用了术语。
简答:
像这样设置您的 CHANNEL_LAYERS
:
CHANNEL_LAYERS = {
"default": {
"BACKEND": "channels_redis.core.RedisChannelLayer",
"CONFIG": {
"hosts": ["redis://h:954c886918c238905dc2c322c34546bd9dbc2738d32523b12bc36ed2d058c387ec@ec2-34-211-446-320.compute-1.amazonaws.com:7719"],
},
},
}
长答案:
Here and here、"redis-server-name" 和 "localhost" 实际上是指以 "redis://" 开头并以更传统的定义 "host" 结尾的整个 Redis URI 字符串--它包括 "redis://" + user + ":password" + "@host:"。
所以 here 它说 "host",你需要放置的不仅仅是主机。或者,您可以选择跳过元组并将整个 URI 作为字符串传递。
乍一看,如果您选择使用元组,我还没有弄清楚 Channels 到底想从您那里得到什么。我现在将使用 URI 字符串。