Tensorflow Federated 是否支持强化学习
Does Tensorflow Federated Support Reinforcement Learning
我正在尝试在联邦学习场景中训练深度强化学习模型。 Tensorflow Federated (TFF) 是否支持强化学习 (RL) 作为 ML 模型？我知道联邦学习主要针对监督学习进行讨论，我很好奇强化学习是否也可以用于 TFF。
如果是，您会推荐哪个库在 TFF 中使用 RL？
简短的回答是肯定的，TFF 可以在 Federated Core 级别支持强化学习 API；请注意，RL 目前未在 tff.learning 中实现（尽管我们欢迎这样的贡献）。从机器学习的角度，你可以把TFF看成是在TF之上的一个通信层，凡是TF支持的，TFF都可以支持。
我将尝试找出长答案的几个关键特征：
首先，联邦强化学习在很大程度上是一个开放的研究问题。考虑到通常训练 RL 模型的困难，我认为 FL 社区会很高兴看到在联合设置中训练的代理甚至可以重现经典的 RL 结果，并且我们会很高兴看到在 TFF 中实现这样的事情。
其次，TFF 通常支持任何基于 TensorFlow 的迭代学习过程，特别是基于梯度的学习。人们可以想象在联邦环境中对 RL 进行建模的许多可能方法； TFF 支持传递 任何 种更新，因此就联合 RL TFF 可以支持的 what 实例而言，天空是极限。
最后，我认为在 TFF 中实现 RL 的起点可能只是以模块化方式在普通 TensorFlow 中实现 RL。在您选择的 RL 联邦模型中必须发生的任何通信都必须在 TFF 之间用 TFF 编写。如果你实施例如你的演员和你的评论家使用 tf.function 模块化，在 @tff.federated_computation 装饰器中实现你需要的通信应该相对简单。有关混合 TF 和 TFF 代码的建议，请参阅 TFF 主要作者的 。
我正在尝试在联邦学习场景中训练深度强化学习模型。 Tensorflow Federated (TFF) 是否支持强化学习 (RL) 作为 ML 模型？我知道联邦学习主要针对监督学习进行讨论，我很好奇强化学习是否也可以用于 TFF。
如果是，您会推荐哪个库在 TFF 中使用 RL？
简短的回答是肯定的，TFF 可以在 Federated Core 级别支持强化学习 API；请注意，RL 目前未在 tff.learning 中实现（尽管我们欢迎这样的贡献）。从机器学习的角度，你可以把TFF看成是在TF之上的一个通信层，凡是TF支持的，TFF都可以支持。
我将尝试找出长答案的几个关键特征：
首先，联邦强化学习在很大程度上是一个开放的研究问题。考虑到通常训练 RL 模型的困难，我认为 FL 社区会很高兴看到在联合设置中训练的代理甚至可以重现经典的 RL 结果，并且我们会很高兴看到在 TFF 中实现这样的事情。
其次，TFF 通常支持任何基于 TensorFlow 的迭代学习过程，特别是基于梯度的学习。人们可以想象在联邦环境中对 RL 进行建模的许多可能方法； TFF 支持传递 任何 种更新，因此就联合 RL TFF 可以支持的 what 实例而言，天空是极限。
最后，我认为在 TFF 中实现 RL 的起点可能只是以模块化方式在普通 TensorFlow 中实现 RL。在您选择的 RL 联邦模型中必须发生的任何通信都必须在 TFF 之间用 TFF 编写。如果你实施例如你的演员和你的评论家使用 tf.function 模块化，在 @tff.federated_computation 装饰器中实现你需要的通信应该相对简单。有关混合 TF 和 TFF 代码的建议，请参阅 TFF 主要作者的