图像分割 总结

1、图像分割的应用：

（1）自动驾驶

（2）智能会议背景智能替换

（3）卫星遥感辅助农业、国土局监管

（4）医疗影像辅助诊断

2、语义分割、实例分割、全景分割

实例分割不考虑背景，

全景分割是语义分割和实例分割的结合。

3、FCN全卷积神经网络

（1）全连接层的卷积化技术，将分类任务扩展到不同大小的图像，使用上采样技术来实现语义分割；

（2）使用全连接层卷积化技术应用到语义分割的问题是，图像分类模型使用降采样层（池化或者步长卷积）获得高层抽象语义信息，导致全卷积网络输出尺寸小于原图，而分割任务要求网络输出和原图一致：

解决方法：对预测的分割图进行升采样，恢复到原图分辨率。升采样方案主要有：

（a）双线性差值，实现中双线性差值可以通过卷积实现，速度更快

（b）转置卷积（transposed convolution）， 又叫升卷积（Upconvolution）或者反卷积（deconvolution）,可学习的升采样层,卷积核可以学习。

反卷积在数学上和卷积并不是逆运算，只是形状上有互逆关系，数值上并不是互逆关系。

4、基于多层特征的上采样

问题：基于顶层特征预测，再升采样32倍恢复到原图尺寸，得到的预测比较粗糙。

分析：高层抽象语义信息经过多次降采样，细节信息丢失严重。

解决思路：低层和高层特征图结合。

解决方案：FCN，Unet

5、上下文信息（context）

上下文信息：即图像周围的信息

问题：受特征提取主干网络的限制，感受野在原图只能看到很小的局部区域，预测时不能将更大的区域纳入考虑范围作出判断。

解决思路：增加感受野更大的网络分支，将上下文信息导入局部预测中；

解决方案：PSPnet，解决分割语义模糊的问题

（a）对特征图进行不同尺度的池化，得到不同尺度的上下文信息；

（b）上下文信息经过通道压缩和空间上采样后拼接成原图尺寸，同时包含了局部和上下文信息。

（c）基于融合的特征进行预测。

6、空洞卷积和deepLab系列

deepLab系列的主要贡献：

（a）使用空洞卷积解决网络中的下采样问题；

（b）使用条件随机场（CRF）来后处理，精细化分割图；

（c）使用多尺度的空洞卷积（ASPP模块）来捕捉上下文信息。

下采样会导致输出尺寸变小，空洞卷积如何解决下采样问题：

如果将池化层和卷积的步长取消：

（a）可以减少下采样的次数；

（b）特征图就会变大，对应需要增大卷积核来维持相同的感受野，但会增加大量参数；

（c）使用空洞卷积（Dilated convlution/Atrous cnvolution)，不增加参数的情况下增大感受野。

语义分割评价体系：