是否可以删除 DQN 最古老的经验
Is it okay to remove most oldest experiences of DQN
我创建了一个最大内存大小为 100000 的 DQN。我有一个函数，如果它的大小大于最大大小，它会删除内存中最旧的元素。当我 运行 它做了 200 集时，我注意到内存在第 125 集时已经满了。我的 DQN 可以删除剩余剧集的最旧体验吗？
是的。使用 dqn 自然可以从缓冲区中删除较旧的剧集。然而，如果在那些早期的情节中有导致奖励的重要事件，代理人可能不会训练得很好。
你观察的大小是多少space，是图像还是什么？
您应该能够计算出总缓冲区的大小（以千兆字节为单位）。只要这适合您的 ram，我建议增加您的缓冲区大小。如果你将它增加到超过 ram 容量，程序就会崩溃。
我还建议您使用 python 集合 "deque" 作为您的缓冲区。它充当具有最大大小的数组。因此，当您在它达到极限时追加它时，它会自动删除第一个元素，因此缓冲区的大小始终相同。
我创建了一个最大内存大小为 100000 的 DQN。我有一个函数，如果它的大小大于最大大小，它会删除内存中最旧的元素。当我 运行 它做了 200 集时，我注意到内存在第 125 集时已经满了。我的 DQN 可以删除剩余剧集的最旧体验吗？
是的。使用 dqn 自然可以从缓冲区中删除较旧的剧集。然而，如果在那些早期的情节中有导致奖励的重要事件，代理人可能不会训练得很好。 你观察的大小是多少space，是图像还是什么？ 您应该能够计算出总缓冲区的大小（以千兆字节为单位）。只要这适合您的 ram，我建议增加您的缓冲区大小。如果你将它增加到超过 ram 容量，程序就会崩溃。 我还建议您使用 python 集合 "deque" 作为您的缓冲区。它充当具有最大大小的数组。因此，当您在它达到极限时追加它时，它会自动删除第一个元素，因此缓冲区的大小始终相同。