联合平均和 TensorFlow

Federated Averaging and TensorFlow

我是联邦学习的新手,刚开始了解 TensorFlow Federated TFF 框架。我心里有一些问题,如果有人能澄清一下,我将不胜感激:

  1. 联邦平均算法是否是 TFF 中唯一支持的聚合算法?它与联合随机梯度下降有何不同?
  2. 联合平均剂量要求每个客户都接受神经网络训练?或者可以用任何机器学习算法训练本地数据?
  3. 我有大数据,我打算将我的数据分成较小的数据集并将每个部分模拟为一个客户端?这在 TFF 中有效吗?它是否考虑水平或垂直联邦学习?

提前致谢

图像分类联邦学习教程将是学习 TFF 的良好开端:https://www.tensorflow.org/federated/tutorials/federated_learning_for_image_classification The "Preparing the input data" section is related to your third question. About vertical vs. horizontal: I know there are many types of federated learning defined in recent publications. Personally I would call what you described as cross-silo federated learning, see Section 2.2 in this paper for more information: https://arxiv.org/abs/1912.04977

回答您的其他问题:

请参阅上面的教程,了解如何在服务器端和客户端设置 SGD 学习率的同时创建具有联合平均的 iterative_process。您还可以实现定制的联邦学习算法:https://www.tensorflow.org/federated/tutorials/building_your_own_federated_learning_algorithm(本教程可能还会回答您关于定制本地训练的第二个问题?)