关于 Dr. Hinton 的 MNIST 架构（784*500*500*2000*10）
About Dr. Hinton's architecture (784*500*500*2000*10) for MNIST
我最近在做深度学习的文献综述。 Hinton 在他的论文 http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf http://www.cs.toronto.edu/~hinton/science.pdf 中使用 784*500*500*2000*10 大小的网络来演示基于 RBM 的预训练 + 在 MNIST 数据集上使用 BP 进行微调
我们在后续隐藏层中选择相同数量的隐藏单元（500）并在最后一层中增加数量（2000）是否有任何特定原因？通常如何根据数据集为 RBM 选择隐藏 layers/units（来自 Hinton 的 RBM 手册以外的实践经验）。
这个问题困扰了我很长时间。我将不胜感激。
看看my masters thesis, chapter 3。
总的来说，在网络架构方面没有严格的规则可循。里面有很多经验。输入层（特征数量 = 神经元数量）和输出层（在分类中：类 数量 = 神经元数量）是例外。
但是，似乎有几个趋势/经验法则：
- 对于全连接层，不使用 "too few" 个神经元，但不超过最后一层的 3 倍左右
- 如果你有 CNN，dropout 真的很重要。然后你可以有很多层/神经元并希望 dropout 防止过度拟合
- 自动拓扑创建：我还没有看到它们中的任何一个经常被使用。
- 增长方法：有像级联相关/减数分裂网络这样的策略，可以从一个小网络开始，然后扩大它。
- 修剪方法：有像 Optimal Brain Damage / Optimal Brain Surgeon 这样的策略可以从一个大的网络开始并使其变小。
- 遗传方法：NEAT（增强拓扑的神经进化）
- 当你想以无监督的方式使用大量未标记数据与（去噪）自动编码器时，使用瓶颈层。我已经看过好几次了。
我最近在做深度学习的文献综述。 Hinton 在他的论文 http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf http://www.cs.toronto.edu/~hinton/science.pdf 中使用 784*500*500*2000*10 大小的网络来演示基于 RBM 的预训练 + 在 MNIST 数据集上使用 BP 进行微调 我们在后续隐藏层中选择相同数量的隐藏单元（500）并在最后一层中增加数量（2000）是否有任何特定原因？通常如何根据数据集为 RBM 选择隐藏 layers/units（来自 Hinton 的 RBM 手册以外的实践经验）。
这个问题困扰了我很长时间。我将不胜感激。
看看my masters thesis, chapter 3。
总的来说，在网络架构方面没有严格的规则可循。里面有很多经验。输入层（特征数量 = 神经元数量）和输出层（在分类中：类 数量 = 神经元数量）是例外。
但是，似乎有几个趋势/经验法则：
- 对于全连接层，不使用 "too few" 个神经元，但不超过最后一层的 3 倍左右
- 如果你有 CNN，dropout 真的很重要。然后你可以有很多层/神经元并希望 dropout 防止过度拟合
- 自动拓扑创建：我还没有看到它们中的任何一个经常被使用。
- 增长方法：有像级联相关/减数分裂网络这样的策略，可以从一个小网络开始，然后扩大它。
- 修剪方法：有像 Optimal Brain Damage / Optimal Brain Surgeon 这样的策略可以从一个大的网络开始并使其变小。
- 遗传方法：NEAT（增强拓扑的神经进化）
- 当你想以无监督的方式使用大量未标记数据与（去噪）自动编码器时，使用瓶颈层。我已经看过好几次了。