CVPR2017论文精选三：实例级别的显著性物体分割

谢圆中大HCP实验室

今天为大家分享第三篇中山大学人机物智能融合实验室HCP Lab被CVPR 2017收录的论文。

Instance-Level Salient Object Segmentation

实例级别的显著性物体分割

Guanbin Li, Yuan Xie, Liang Lin, Yizhou Yu
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017

问题描述

图像显著性检测近年来得益于深度卷积神经网络得到快速发展，然而，现有的方法都不能对显著性物体做到实例级别的检测，也就是不能把每个显著的实例分割开。基于此，本论文提出了一个实例级别的显著性性物体分割方法，它为输入图像生成了具有不同对象实例标签的显著性遮罩。为了进一步研究和评估显著性实例分割，我们还构建了一个包含了1000个图像的新数据库，加以像素级别的显著性实例标注。实验结果表明，本论文提出的方法能够在显著性检测的所有公共基准数据集以及我们新的显著性实例分割数据集上实现最佳的性能。

方法模型

A．整体架构

我们提出的方法包括三个步骤，估计显著性图，检测显著性对象轮廓和识别显著性对象实例。在前两个步骤中，我们提出了一个多尺度显著性调整网络，此网络能产生高质量显著性区域遮罩和显著性对象轮廓。一旦集成了多尺度组合分组和基于MAP的子集优化框架，我们就可以生成效果很不错的显著性对象实例分割结果。

B．方法步骤

1.多尺度调整网络（MSRNet）

全卷积网络已经广泛应用于图像标注问题，在显着区域检测和轮廓检测都取得了很大成功。然而，现有的方法都没能用一个统一网络架构中来解决这个问题。此外由于显著性对象可能有不同的尺度，我们提出了一个多尺度调整网络MSRNet，它由三个精简的VGG网络流组成，彼此共享参数和视觉注意力模型，用以在不同尺度上融合得到最终预测结果。

2．基于视觉注意力的多尺度融合方法

3．显著性实例区域的初步提取

基于检测到的显著性区域的边缘，我们利用MCG算法来产生显著性实例的初步区域。为了得到较高的召回率(recall rate), 我们对一张图片大概提取800个显著性实例的位置。进一步地，我们采用了基于MAP的子集优化法对显著性实例的可能区域的集合进行删减，最终集合中剩下的元素个数就是显著性实例的个数。通过为每个显著性实例进行像素级别的ID标注，就获得了初步的显著性实例分割结果。

4．显著性实例分割结果的调整

由于显著性实例区域和显著性区域是由彼此独立的步骤获得(参看架构图)，二者之间存在一些差异。我们用一个CRF模型来调整初始的显著性实例的结果。