10.2 反卷积网络

卷积网络的输入是一幅图像，输出结果是一个概率值。而语义分割的输入是一张图片是，输出也是一张图片，必须学习像素到像素的映射，针对这个需求出现了反卷积层。

卷积网络中的全连接层，都是一维的向量，计算方式不再采用卷积，不再有空间信息。全卷积网络中，将全连接层转化为 1×1 的卷积层。整个模型中，全部都是卷积层，所以称为 “全卷积”。 池化层对特征图进行了 “下采样”，这样处理之后，图像的像素信息变小了。要得到原始尺寸的分类图，必须对特征图进行还原。这里输入尺寸小于输出尺寸的卷积层称为“反卷积”层，可以将图像扩充至原来的大小。

较浅的卷积层的感受域比较小，学习感知细节部分的能力强，较深的隐藏层，感受域相对较大，适合学习较为整体的、相对更宏观一些的特征。在较深的卷积层上进行反卷积还原，会丢失很多细节特征。所以在反卷积时，采用多层反卷积信息叠加，以便得到更好的分割结果：

图像语义分割的分类器可以以 “条件随机场”作为输出结果的优化后处理手段。FCN 是像素到像素的影射，所以最终输出的图片上每一个像素都是标注了分类的，将这些分类简单地看成是不同的变量，每个像素都和其他像素之间建立一种连接，连接就是相互间的关系。通过对能量函数优化求解，把明显不符合事实识别判断剔除，替换成合理的解释，得到对 FCN 的图像语义预测结果的优化，生成最终的语义分割结果。