Python: 如何为多人游戏序列化对象？
Python: How to serialize objects for multiplayer game?
我们正在与一些朋友一起开发一款类似于自上而下的 RPG 多人游戏，以供学习（和娱乐！）之用。我们已经在游戏中有一些实体并且输入正在工作，但是 网络实现 让我们头疼 :D
问题
尝试使用 dict 进行转换时，某些值仍将包含 pygame.Surface，我不想传输它，并且在尝试时会导致错误jsonfy他们。其他我想以简单的方式传输的对象，如矩形不能自动转换。
已经可用
- 客户端-服务器连接
- 双向传输 JSON 个对象
- 异步网络和同步放入队列
情况
一位新玩家连接到服务器并希望获得所有对象的当前游戏状态。
数据结构
我们使用基于"Entity-Component"的架构，所以我们将游戏逻辑非常严格地分离到"systems"，而数据存储在每个实体的"components"中。实体是一个非常简单的容器，只有一个 ID 和一个组件列表。
示例实体（为了更好的可读性而缩短）：
Entity
|-- Component (Moveable)
|-- Component (Graphic)
| |- complex datatypes like pygame.SURFACE
| `- (...)
`- Component (Inventory)
我们尝试了不同的方法，但似乎都不太适合或感觉 "hacky"。
泡菜
非常Python 接近，所以以后不容易实现其他客户端。我读到过一些安全风险，当以这种动态方式从网络创建项目时，它如何提供泡菜。它甚至没有解决 Surface/Rectangle 问题。
__dict__
仍然包含对旧对象的引用，因此 "cleanup" 或 "filter" 不需要的数据类型也会在源中发生。深层复制抛出异常。
...\Python\Python36\lib\copy.py", line 169, in deepcopy
rv = reductor(4)
TypeError: can't pickle pygame.Surface objects
显示一些代码
"EnitityManager" Class 的方法应该生成所有实体的快照，包括它们的组件。此快照应无任何错误地转换为 JSON - 如果可能，此核心中没有太多配置 - class.
class EnitityManager:
def generate_world_snapshot(self):
""" Returns a dictionary with all Entities and their components to send
this to the client. This function will probably generate a lot of data,
but, its to send the whole current game state when a new player
connects or when a complete refresh is required """
# It should be possible to add more objects to the snapshot, so we
# create our own Snapshot-Datastructure
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = deepcopy(e.__dict__)
# Components are Objects, but dictionary is required for transfer
cmp_obj_list = result['entities'][e.id]['components']
# Empty the current list of components, its going to be filled with
# dictionaries of each cmp which are cleaned for the dump, because
# of the errors directly coverting the whole datastructure to JSON
result['entities'][e.id]['components'] = {}
for cmp in cmp_obj_list:
cmp_copy = deepcopy(cmp)
cmp_dict = cmp_copy.__dict__
# Only list, dict, int, str, float and None will stay, while
# other Types are being simply deleted including their key
# Lists and directories will be cleaned ob recursive as well
cmp_dict = self.clean_complex_recursive(cmp_dict)
result['entities'][e.id]['components'][type(cmp_copy).__name__] \
= cmp_dict
logging.debug("EntityMgr: Entity#3: %s" % result['entities'][3])
return result
预期与实际结果
我们可以找到一种方法来手动覆盖我们不需要的元素。但是随着组件列表的增加，我们必须将所有过滤器逻辑放入这个核心 class，它不应该包含任何组件特化。
我们真的必须将所有逻辑都放入 EntityManager 中以过滤正确的对象吗？这感觉不太好，因为我想在没有任何硬编码配置的情况下完成对 JSON 的所有转换。
如何以最通用的方法转换所有这些复杂数据？
感谢您到目前为止的阅读，非常感谢您的提前帮助！
我们已经在处理的有趣文章可能对其他有类似问题的人有帮助
- https://gafferongames.com/post/what_every_programmer_needs_to_know_about_game_networking/
- http://code.activestate.com/recipes/408859/
- https://docs.python.org/3/library/pickle.html
更新：解决方案 - thx 2 sloth
我们使用了以下架构的组合，到目前为止效果非常好，也很好维护！
实体管理器现在调用实体的 get_state() 函数。
class EntitiyManager:
def generate_world_snapshot(self):
""" Returns a dictionary with all Entities and their components to send
this to the client. This function will probably generate a lot of data,
but, its to send the whole current game state when a new player
connects or when a complete refresh is required """
# It should be possible to add more objects to the snapshot, so we
# create our own Snapshot-Datastructure
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = e.get_state()
return result
实体只有一些基本属性可以添加到状态并将 get_state() 调用转发给所有组件：
class Entity:
def get_state(self):
state = {'name': self.name, 'id': self.id, 'components': {}}
for cmp in self.components:
state['components'][type(cmp).__name__] = cmp.get_state()
return state
组件本身现在从它们的新 superclass 组件继承它们的 get_state() 方法，它只关心所有简单的数据类型：
class Component:
def __init__(self):
logging.debug('generic component created')
def get_state(self):
state = {}
for attr, value in self.__dict__.items():
if value is None or isinstance(value, (str, int, float, bool)):
state[attr] = value
elif isinstance(value, (list, dict)):
# logging.warn("Generating state: not supporting lists yet")
pass
return state
class GraphicComponent(Component):
# (...)
现在每个开发人员都有机会覆盖此功能，直接在组件 Classes 中为复杂类型 创建更详细的 get_state() 函数（例如 Graphic，移动，库存等）如果需要以更准确的方式保护状态 - 这对于将来维护代码来说是一件大事，将这些代码片段放在一个 Class.
下一步是实现静态方法以从相同 Class 中的状态创建项目。这使得这项工作非常顺利。
非常感谢树懒的帮助。
Do we really have to put all the logic into the EntityManager for filtering the right objects?
不，你应该使用 polymorphism。
您需要一种可以在不同系统之间共享的形式来表示您的游戏状态的方法；因此，也许可以为您的组件提供一个方法来 return 它们的所有状态，以及一个允许您从该状态创建组件实例的工厂方法。
(Python已有__repr__妙法，但你不必使用它)
因此，与其在实体管理器中进行所有过滤，不如让他在所有组件上调用这个新方法，让每个组件决定结果的样子。
像这样：
...
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = {'components': {}}
for cmp in e.components:
result['entities'][e.id]['components'][type(cmp).__name__] = cmp.get_state()
...
一个组件可以这样实现它：
class GraphicComponent:
def __init__(self, pos=...):
self.image = ...
self.rect = ...
self.whatever = ...
def get_state(self):
return { 'pos_x': self.rect.x, 'pos_y': self.rect.y, 'image': 'name_of_image.jpg' }
@staticmethod
def from_state(state):
return GraphicComponent(pos=(state.pos_x, state.pos_y), ...)
从服务器接收状态的客户端 EntityManager 将迭代每个实体的组件列表并调用 from_state 来创建实例。
我们正在与一些朋友一起开发一款类似于自上而下的 RPG 多人游戏，以供学习（和娱乐！）之用。我们已经在游戏中有一些实体并且输入正在工作，但是 网络实现 让我们头疼 :D
问题
尝试使用 dict 进行转换时，某些值仍将包含 pygame.Surface，我不想传输它，并且在尝试时会导致错误jsonfy他们。其他我想以简单的方式传输的对象，如矩形不能自动转换。
已经可用
- 客户端-服务器连接
- 双向传输 JSON 个对象
- 异步网络和同步放入队列
情况
一位新玩家连接到服务器并希望获得所有对象的当前游戏状态。
数据结构
我们使用基于"Entity-Component"的架构，所以我们将游戏逻辑非常严格地分离到"systems"，而数据存储在每个实体的"components"中。实体是一个非常简单的容器，只有一个 ID 和一个组件列表。
示例实体（为了更好的可读性而缩短）：
Entity
|-- Component (Moveable)
|-- Component (Graphic)
| |- complex datatypes like pygame.SURFACE
| `- (...)
`- Component (Inventory)
我们尝试了不同的方法，但似乎都不太适合或感觉 "hacky"。
非常Python 接近，所以以后不容易实现其他客户端。我读到过一些安全风险，当以这种动态方式从网络创建项目时，它如何提供泡菜。它甚至没有解决 Surface/Rectangle 问题。
__dict__仍然包含对旧对象的引用，因此 "cleanup" 或 "filter" 不需要的数据类型也会在源中发生。深层复制抛出异常。
...\Python\Python36\lib\copy.py", line 169, in deepcopy
rv = reductor(4)
TypeError: can't pickle pygame.Surface objects
显示一些代码
"EnitityManager" Class 的方法应该生成所有实体的快照，包括它们的组件。此快照应无任何错误地转换为 JSON - 如果可能，此核心中没有太多配置 - class.
class EnitityManager:
def generate_world_snapshot(self):
""" Returns a dictionary with all Entities and their components to send
this to the client. This function will probably generate a lot of data,
but, its to send the whole current game state when a new player
connects or when a complete refresh is required """
# It should be possible to add more objects to the snapshot, so we
# create our own Snapshot-Datastructure
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = deepcopy(e.__dict__)
# Components are Objects, but dictionary is required for transfer
cmp_obj_list = result['entities'][e.id]['components']
# Empty the current list of components, its going to be filled with
# dictionaries of each cmp which are cleaned for the dump, because
# of the errors directly coverting the whole datastructure to JSON
result['entities'][e.id]['components'] = {}
for cmp in cmp_obj_list:
cmp_copy = deepcopy(cmp)
cmp_dict = cmp_copy.__dict__
# Only list, dict, int, str, float and None will stay, while
# other Types are being simply deleted including their key
# Lists and directories will be cleaned ob recursive as well
cmp_dict = self.clean_complex_recursive(cmp_dict)
result['entities'][e.id]['components'][type(cmp_copy).__name__] \
= cmp_dict
logging.debug("EntityMgr: Entity#3: %s" % result['entities'][3])
return result
预期与实际结果
我们可以找到一种方法来手动覆盖我们不需要的元素。但是随着组件列表的增加，我们必须将所有过滤器逻辑放入这个核心 class，它不应该包含任何组件特化。
我们真的必须将所有逻辑都放入 EntityManager 中以过滤正确的对象吗？这感觉不太好，因为我想在没有任何硬编码配置的情况下完成对 JSON 的所有转换。
如何以最通用的方法转换所有这些复杂数据？
感谢您到目前为止的阅读，非常感谢您的提前帮助！
我们已经在处理的有趣文章可能对其他有类似问题的人有帮助
- https://gafferongames.com/post/what_every_programmer_needs_to_know_about_game_networking/
- http://code.activestate.com/recipes/408859/
- https://docs.python.org/3/library/pickle.html
更新：解决方案 - thx 2 sloth
我们使用了以下架构的组合，到目前为止效果非常好，也很好维护！
实体管理器现在调用实体的 get_state() 函数。
class EntitiyManager:
def generate_world_snapshot(self):
""" Returns a dictionary with all Entities and their components to send
this to the client. This function will probably generate a lot of data,
but, its to send the whole current game state when a new player
connects or when a complete refresh is required """
# It should be possible to add more objects to the snapshot, so we
# create our own Snapshot-Datastructure
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = e.get_state()
return result
实体只有一些基本属性可以添加到状态并将 get_state() 调用转发给所有组件：
class Entity:
def get_state(self):
state = {'name': self.name, 'id': self.id, 'components': {}}
for cmp in self.components:
state['components'][type(cmp).__name__] = cmp.get_state()
return state
组件本身现在从它们的新 superclass 组件继承它们的 get_state() 方法，它只关心所有简单的数据类型：
class Component:
def __init__(self):
logging.debug('generic component created')
def get_state(self):
state = {}
for attr, value in self.__dict__.items():
if value is None or isinstance(value, (str, int, float, bool)):
state[attr] = value
elif isinstance(value, (list, dict)):
# logging.warn("Generating state: not supporting lists yet")
pass
return state
class GraphicComponent(Component):
# (...)
现在每个开发人员都有机会覆盖此功能，直接在组件 Classes 中为复杂类型 创建更详细的 get_state() 函数（例如 Graphic，移动，库存等）如果需要以更准确的方式保护状态 - 这对于将来维护代码来说是一件大事，将这些代码片段放在一个 Class.
下一步是实现静态方法以从相同 Class 中的状态创建项目。这使得这项工作非常顺利。
非常感谢树懒的帮助。
Do we really have to put all the logic into the EntityManager for filtering the right objects?
不，你应该使用 polymorphism。
您需要一种可以在不同系统之间共享的形式来表示您的游戏状态的方法；因此，也许可以为您的组件提供一个方法来 return 它们的所有状态，以及一个允许您从该状态创建组件实例的工厂方法。
(Python已有__repr__妙法，但你不必使用它)
因此，与其在实体管理器中进行所有过滤，不如让他在所有组件上调用这个新方法，让每个组件决定结果的样子。
像这样：
...
result = {'entities': {}}
entities = self.get_all_entities()
for e in entities:
result['entities'][e.id] = {'components': {}}
for cmp in e.components:
result['entities'][e.id]['components'][type(cmp).__name__] = cmp.get_state()
...
一个组件可以这样实现它：
class GraphicComponent:
def __init__(self, pos=...):
self.image = ...
self.rect = ...
self.whatever = ...
def get_state(self):
return { 'pos_x': self.rect.x, 'pos_y': self.rect.y, 'image': 'name_of_image.jpg' }
@staticmethod
def from_state(state):
return GraphicComponent(pos=(state.pos_x, state.pos_y), ...)
从服务器接收状态的客户端 EntityManager 将迭代每个实体的组件列表并调用 from_state 来创建实例。