U-net vs FCN 语义分割背后的直觉

Question

我不太明白以下内容：

在提议的 FCN for Semantic Segmentation by Shelhamer et al 中，他们提出了像素到像素的预测来构建图像中对象的 masks/exact 位置。

在用于生物医学图像分割的 FCN 的略微修改版本中，U-net，主要区别似乎是 "a concatenation with the correspondingly cropped feature map from the contracting path."

现在，为什么此功能特别适用于生物医学细分？我可以指出生物医学图像与其他数据集的主要区别是，在生物医学图像中，定义对象的特征集不像日常常见对象那样丰富。数据集的大小也是有限的。但是，这个额外的功能是受这两个事实的启发还是出于其他原因？

Answer 1

U-Net 建立在 J. Long 的 FCN 论文之上。几个不同之处在于，原始 FCN 论文使用解码器一半对分类进行上采样（即网络的整个后半部分深度为 C - 类 的数量）

U-Net 将后半部分视为特征 space 并在最后进行最终分类。

它对生物医学 IMO 没有什么特别之处

Answer 2

FCN 与 U-Net：

FCN

1. 它只上采样一次。即它在解码器中只有一层
2. 原始实现 github repo 使用双线性插值对卷积图像进行上采样。那就是这里没有可学习的过滤器
3. FCN 的变体-[FCN 16s 和 FCN 8s] 添加来自较低层的跳过连接，使输出对尺度变化具有鲁棒性

---

U-Net

1. 多个上采样层
2. 使用跳过连接并连接而不是相加
3. 使用可学习的权重过滤器而不是固定插值技术