如何在 Tensorflow 中的多个参数服务器上拆分单个张量?
How to split single tensor on multiple parameter servers in Tensorflow?
我正在使用 Tensorflow,遇到以下问题:
我的模型中有一个巨大的张量,它的大小大约是其他张量的 100 倍。我知道参数是循环存储的,但我的理解是单张量属于单参数服务器,这个巨大的张量会成为瓶颈。
是否可以在多个参数服务器上拆分那个巨大的张量?
我发现我可以为 tensorflow 变量使用分区器,这样张量就可以在多个参数服务器上进行分片。
https://www.tensorflow.org/api_guides/python/state_ops#Variable_Partitioners_for_Sharding
我正在使用 Tensorflow,遇到以下问题:
我的模型中有一个巨大的张量,它的大小大约是其他张量的 100 倍。我知道参数是循环存储的,但我的理解是单张量属于单参数服务器,这个巨大的张量会成为瓶颈。
是否可以在多个参数服务器上拆分那个巨大的张量?
我发现我可以为 tensorflow 变量使用分区器,这样张量就可以在多个参数服务器上进行分片。
https://www.tensorflow.org/api_guides/python/state_ops#Variable_Partitioners_for_Sharding