Q学习和奖励索引
Qlearning and indexing of reward
我的问题可能很简单，但我不确定众所周知的 Q 学习方程式中的时间索引。
等式：
Qt+1(St, At) = Qt(St, At) + alpha * (Rt+1 + gamma * max_A(Qt(St+1, A)) - Qt(St, At))
而且我不明白 Rt+1 代表什么。简单示例：
- 我们在时间 T 处于状态 X。
- 根据 epsilon-greedy 选择新动作
- 应用操作
- 我们在时间 T + 1 处处于状态 Y
- （现在我们要更新状态 Y 的 Q 值）奖励是根据动作 X -> Y (?) 计算的，还是在评估所有下一个 Q 值后从动作 Y -> Z 中获得奖励（max_A(Q(Y, A)))
- 重复 1
在上一回合中，您处于状态 s(t) 并采取了行动 a(t)。现在你处于状态 s(t+1)，收到奖励 r(t+1) 并（贪婪地）选择动作 a(t+1)。您将先前操作的值调整为新操作的折扣值和奖励的总和。
你的例子中的一些误解：
- 您实际上是在更新操作，而不是状态值
- 您正在更新状态 X 而非 Y 的操作值
- 在状态X采取的具体动作可能会导致各种状态，而不仅仅是Y，所以不存在X→Y动作这样的东西
我的问题可能很简单，但我不确定众所周知的 Q 学习方程式中的时间索引。
等式： Qt+1(St, At) = Qt(St, At) + alpha * (Rt+1 + gamma * max_A(Qt(St+1, A)) - Qt(St, At))
而且我不明白 Rt+1 代表什么。简单示例：
- 我们在时间 T 处于状态 X。
- 根据 epsilon-greedy 选择新动作
- 应用操作
- 我们在时间 T + 1 处处于状态 Y
- （现在我们要更新状态 Y 的 Q 值）奖励是根据动作 X -> Y (?) 计算的，还是在评估所有下一个 Q 值后从动作 Y -> Z 中获得奖励（max_A(Q(Y, A)))
- 重复 1
在上一回合中，您处于状态 s(t) 并采取了行动 a(t)。现在你处于状态 s(t+1)，收到奖励 r(t+1) 并（贪婪地）选择动作 a(t+1)。您将先前操作的值调整为新操作的折扣值和奖励的总和。
你的例子中的一些误解：
- 您实际上是在更新操作，而不是状态值
- 您正在更新状态 X 而非 Y 的操作值
- 在状态X采取的具体动作可能会导致各种状态，而不仅仅是Y，所以不存在X→Y动作这样的东西