今天为大家分享第三篇中山大学人机物智能融合实验室HCP Lab被CVPR 2017收录的论文。

Instance-Level Salient Object Segmentation

实例级别的显著性物体分割

• Guanbin Li, Yuan Xie, Liang Lin, Yizhou Yu

• IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017

问题描述

图像显著性检测近年来得益于深度卷积神经网络得到快速发展，然而，现有的方法都不能对显著性物体做到实例级别的检测，也就是不能把每个显著的实例分割开。基于此，本论文提出了一个实例级别的显著性性物体分割方法，它为输入图像生成了具有不同对象实例标签的显著性遮罩。为了进一步研究和评估显著性实例分割，我们还构建了一个包含了1000个图像的新数据库，加以像素级别的显著性实例标注。实验结果表明，本论文提出的方法能够在显著性检测的所有公共基准数据集以及我们新的显著性实例分割数据集上实现最佳的性能。

方法模型

A．整体架构

我们提出的方法包括三个步骤，估计显著性图，检测显著性对象轮廓和识别显著性对象实例。在前两个步骤中，我们提出了一个多尺度显著性调整网络，此网络能产生高质量显著性区域遮罩和显著性对象轮廓。一旦集成了多尺度组合分组和基于MAP的子集优化框架，我们就可以生成效果很不错的显著性对象实例分割结果。

B．方法步骤

1.多尺度调整网络（MSRNet）

全卷积网络已经广泛应用于图像标注问题，在显着区域检测和轮廓检测都取得了很大成功。然而，现有的方法都没能用一个统一网络架构中来解决这个问题。此外由于显著性对象可能有不同的尺度，我们提出了一个多尺度调整网络MSRNet，它由三个精简的VGG网络流组成，彼此共享参数和视觉注意力模型，用以在不同尺度上融合得到最终预测结果。

2．基于视觉注意力的多尺度融合方法

3．显著性实例区域的初步提取

基于检测到的显著性区域的边缘，我们利用MCG算法来产生显著性实例的初步区域。为了得到较高的召回率(recall rate), 我们对一张图片大概提取800个显著性实例的位置。进一步地，我们采用了基于MAP的子集优化法对显著性实例的可能区域的集合进行删减，最终集合中剩下的元素个数就是显著性实例的个数。通过为每个显著性实例进行像素级别的ID标注，就获得了初步的显著性实例分割结果。

4．显著性实例分割结果的调整

由于显著性实例区域和显著性区域是由彼此独立的步骤获得(参看架构图)，二者之间存在一些差异。我们用一个CRF模型来调整初始的显著性实例的结果。

实验结果

A．显著性区域检测

我们在6个显著性区域检测的基准数据集上进行了评测，并和8个现在最好的方法进行比较。

下图是部分例子的可视化的结果，可见，我们提出的MSRNet不仅能检测出不同尺度下的显著性物体，而且在挑战性较高的困难样本里也能产生更精确的结果。

进一步地定量比较，我们采用了PR曲线，F-measure最大值, 平均错误率(MAE)作为性能的评价标准。比较可得我们的方法在各个数据集上都达到了最好的效果。

B．显著性实例分割

为了检验我们提出的框架的有效性并促进在显著性实例分割这个新问题上的研究，我们在构造的新数据集上进行了进一步的评测。

对于传统的边缘检测，沿用了3个标准的评测指标：固定的边缘阈值(ODS)，图像最优阈值(OIS)，平均精度(AP)。

对于我们提出的显著性实例分割，我们在实例级别的语义分割的评测方法的启发下，采用mAP 作为评测标准，检测IOU阈值为0.5和0.7下的结果。

以下展示可视化结果和定量评测的结果：

 *点击“阅读原文”到HCP Lab官网读原汁原味英文版介绍😘