如何逐个神经元定义神经网络?
How to define neural network neuron-by-neuron?
所以我们想要一个随机的类脑神经元混乱。含义:
- 我们有 AxB 输入和 CxD 输出。
- 我们希望有 K(其中 K >= CxD)个随机连接的神经元。
- 然而,所有 K 个神经元都连接到至少一个 AxB 输入,
- 并且所有 K 个神经元都连接到至少一个 CxD 输出。
类似的东西(这里 AxB=5,K=4,CxD=2):
神经元应该做的操作是加权求和+像LeakyReLu这样的一些减少。
因此可以想象,当连接随机性受到控制时,连接会像 CNN 层一样定位在图像块上,它会产生有趣的结果。
如何在 PyTorch 中做这样的事情(一个接一个地处理神经元)?
这里有两个问题:主要问题是如何对连接进行随机采样,次要问题是如何优化稀疏线性层。
至于小问题,您可以根据链接的答案实现。
至于随机连接,您必须以没有“循环”的方式实现它
所以我们想要一个随机的类脑神经元混乱。含义:
- 我们有 AxB 输入和 CxD 输出。
- 我们希望有 K(其中 K >= CxD)个随机连接的神经元。
- 然而,所有 K 个神经元都连接到至少一个 AxB 输入,
- 并且所有 K 个神经元都连接到至少一个 CxD 输出。
类似的东西(这里 AxB=5,K=4,CxD=2):
神经元应该做的操作是加权求和+像LeakyReLu这样的一些减少。
因此可以想象,当连接随机性受到控制时,连接会像 CNN 层一样定位在图像块上,它会产生有趣的结果。
如何在 PyTorch 中做这样的事情(一个接一个地处理神经元)?
这里有两个问题:主要问题是如何对连接进行随机采样,次要问题是如何优化稀疏线性层。
至于小问题,您可以根据链接的答案实现
至于随机连接,您必须以没有“循环”的方式实现它