Cloud Composer 在添加另一个节点后抛出 InvalidToken
Cloud Composer throwing InvalidToken after adding another node
我最近在生产气流中添加了一些新的 DAG,因此决定扩大 Composer 池中的节点数量。这样做之后我得到了错误:Can't decrypt _val for key=<KEY>, invalid token or value
。对于使用变量的每个 DAG,现在都会发生这种情况。也不是同一个key,要看DAG需要什么变量。
我立即将 Composer 缩减到 3 个节点,但问题仍然存在。
我尝试重新保存所有变量,在 UI 中重新创建它们(表示它们都是有效的),在 CLI 中重新创建它们(其中列出了 invalid
每个一)。
我还尝试更新配置以尝试重启服务器,并手动停止 VM 实例。
Composer 似乎也否定了更新 Fernet Key 的能力,所以我无法尝试使用新的。出于某种原因,似乎 Composer 分配的永久性现在无效。
除了重新创建环境之外,是否还有其他方法可以解决该问题?
我设法通过添加新的 python 包解决了这个问题。看来只有加个包才能真正"reboot"环境。重启完成后,我的所有变量和连接都失效了,但我可以将它们重新添加进去,而不必重新创建整个环境。
听说过这个问题:根据 Google,Composer 为环境创建一个自定义图像并将一个图像传递给每个节点,如果在缩放过程中图像被损坏,那么修复它的唯一方法是添加一个新的 python 包以便重建图像。顺便说一下,Composer 的 1.3.0 版要好得多,因为调度程序每 10 分钟重新启动一次,这应该可以解决我遇到的一些后问题。
我最近在生产气流中添加了一些新的 DAG,因此决定扩大 Composer 池中的节点数量。这样做之后我得到了错误:Can't decrypt _val for key=<KEY>, invalid token or value
。对于使用变量的每个 DAG,现在都会发生这种情况。也不是同一个key,要看DAG需要什么变量。
我立即将 Composer 缩减到 3 个节点,但问题仍然存在。
我尝试重新保存所有变量,在 UI 中重新创建它们(表示它们都是有效的),在 CLI 中重新创建它们(其中列出了 invalid
每个一)。
我还尝试更新配置以尝试重启服务器,并手动停止 VM 实例。
Composer 似乎也否定了更新 Fernet Key 的能力,所以我无法尝试使用新的。出于某种原因,似乎 Composer 分配的永久性现在无效。
除了重新创建环境之外,是否还有其他方法可以解决该问题?
我设法通过添加新的 python 包解决了这个问题。看来只有加个包才能真正"reboot"环境。重启完成后,我的所有变量和连接都失效了,但我可以将它们重新添加进去,而不必重新创建整个环境。
听说过这个问题:根据 Google,Composer 为环境创建一个自定义图像并将一个图像传递给每个节点,如果在缩放过程中图像被损坏,那么修复它的唯一方法是添加一个新的 python 包以便重建图像。顺便说一下,Composer 的 1.3.0 版要好得多,因为调度程序每 10 分钟重新启动一次,这应该可以解决我遇到的一些后问题。