扩张卷积、空洞、感受野
Dilated Convolution, atrous, receptive fields
我不明白扩张卷积的感受野值。事实上,例如对于常规卷积 3x3,感受野是 3x3。两个 3x3 的感受野是 5x5。但是对于扩张卷积它是如何工作的呢?
事实上,4 次扩张意味着 1 个 3x3 卷积,然后我们应用另一个 5x5 卷积(只有 9 个值与 0 不同),然后是一个 7x7 卷积(只有 9 个值与 0 不同),最后是一个 9x9 卷积?如果是这样的话,我不明白 15x15 对于 4 扩张的价值。如果我的计算正确的话,通过 3 膨胀我得到了 13x13。我哪里错了?
正如您在 link 编辑的问题的答案中看到的那样,步幅(卷积输入值之间的距离)呈指数增长,而不是线性增长。如图所示的4-dilated convolution使用了3层(我link这里的图片供参考):
每次应用 3x3 卷积时,输入样本之间的距离都会增加:第一层为 1,第二层为 2,第三层为 4。前两层一起产生一个感受野,它是每个红点周围的 3x3 块,导致 7x7 感受野。在第 3 层中,这些 7x7 块再次针对 9 个红点中的每一个重复,从而产生 15x15 的感受野。
请注意,应该可以进一步增加这些距离,因为有相当多的重叠(图中较暗的阴影区域):第 2 层步长为 3,导致 9x9,第 3 层一步大小为 9,导致 27x27。我不知道这是否会导致更差的性能,我从未应用过这种技术。
我不明白扩张卷积的感受野值。事实上,例如对于常规卷积 3x3,感受野是 3x3。两个 3x3 的感受野是 5x5。但是对于扩张卷积它是如何工作的呢?
事实上,4 次扩张意味着 1 个 3x3 卷积,然后我们应用另一个 5x5 卷积(只有 9 个值与 0 不同),然后是一个 7x7 卷积(只有 9 个值与 0 不同),最后是一个 9x9 卷积?如果是这样的话,我不明白 15x15 对于 4 扩张的价值。如果我的计算正确的话,通过 3 膨胀我得到了 13x13。我哪里错了?
正如您在 link 编辑的问题的答案中看到的那样,步幅(卷积输入值之间的距离)呈指数增长,而不是线性增长。如图所示的4-dilated convolution使用了3层(我link这里的图片供参考):
每次应用 3x3 卷积时,输入样本之间的距离都会增加:第一层为 1,第二层为 2,第三层为 4。前两层一起产生一个感受野,它是每个红点周围的 3x3 块,导致 7x7 感受野。在第 3 层中,这些 7x7 块再次针对 9 个红点中的每一个重复,从而产生 15x15 的感受野。
请注意,应该可以进一步增加这些距离,因为有相当多的重叠(图中较暗的阴影区域):第 2 层步长为 3,导致 9x9,第 3 层一步大小为 9,导致 27x27。我不知道这是否会导致更差的性能,我从未应用过这种技术。