RL：使用在策略和离策略的自我对弈

Question

我尝试用PPO实现自我对弈。 假设我们有一个有 2 个代理的游戏。我们在每一侧控制一个玩家，并在每一步后获得观察和奖励等信息。据我所知，您可以使用左右玩家的信息来生成训练数据并优化模型。但这只适用于 off-policy，不是吗？ 因为有政策，例如PPO，你期望训练数据是当前网络版本生成的，而在自我对战时通常不是这样？

谢谢！

Answer 1

没错，这也是为什么你只能对Q-learning这样的off-policy方法使用experience-replay（Replay BUffers）的原因。使用不是由当前策略生成的示例步骤违反了正在反向传播的梯度背后的数学假设。