何 麗，張紅艷，房婉琳

天津財經(jīng)大學(xué) 理工學(xué)院，天津300222

顯著性檢測是計算機(jī)視覺應(yīng)用中的一項基本任務(wù)。因為相對于視線中出現(xiàn)的所有物體，人們往往會更加關(guān)注于自己所感興趣的物體，而感興趣的物體就是顯著物體。顯著性檢測在目標(biāo)識別、圖像視頻壓縮、圖像檢索、圖像重定向等中有著重要的應(yīng)用價值。但是，顯著性檢測只是能夠獲得顯著性區(qū)域的位置，卻無法區(qū)分出各個實例。實例分割不僅要在實例層級上進(jìn)行目標(biāo)的分類和定位，還要在像素層級上得到精確的分割掩碼，是一種更接近人類真實視覺感受的計算機(jī)視覺任務(wù)。但實例分割得到的分割結(jié)果是除去背景外的所有物體，這之中包括顯著物體和不顯著物體。為了實現(xiàn)基于顯著性檢測的實例識別，Li 等人正式提出顯著實例分割的概念。顯著實例分割是目前計算機(jī)視覺領(lǐng)域中的一個較新的研究方向，其目的在于檢測出圖像中的顯著物體，并對各個顯著物體進(jìn)行像素級的分割。最近，F(xiàn)an 等人提出的S4Net（single stage salient-instance segmentation）利用了目標(biāo)對象和其周圍背景的特征分離能力，提出了基于區(qū)域特征提取層ROIMasking 的顯著實例分割。但是，為了對圖像進(jìn)行深層次的特征提取，卷積神經(jīng)網(wǎng)絡(luò)會進(jìn)行多次的卷積和池化操作，使得到的特征圖尺寸與輸入圖像相差數(shù)倍，再經(jīng)過上采樣操作恢復(fù)到原尺寸后，會造成目標(biāo)對象細(xì)節(jié)信息或邊界信息的丟失，從而導(dǎo)致目標(biāo)對象的邊界分割粗糙，整體分割效果變差，并最終影響分割的精確度。

上述方法未充分考慮到實例的邊界信息對分割結(jié)果影響，為了解決此問題，本文在S4Net 模型的基礎(chǔ)上，提出了一種新的結(jié)合實例邊界特征提取的端到端顯著實例分割方法（salient instance segmentation via multiscale boundary characteristic network，MBCNet）。該方法借鑒了在邊緣檢測和語義實例分割的思想，在S4Net 的基礎(chǔ)上并行設(shè)計了一個多尺度融合的邊界特征提取分支，以更好地提取實例邊界的特征信息，實現(xiàn)了將邊界特征信息與顯著性實例分割的有效整合；為實現(xiàn)在同一網(wǎng)絡(luò)中并行訓(xùn)練目標(biāo)實例的邊界特征提取和顯著實例分割兩個任務(wù)，在MBCNet中設(shè)計了一個邊界-分割的聯(lián)合損失函數(shù)。為驗證MBCNet 的先進(jìn)性，本文在saliency instance 數(shù)據(jù)集上將MBCNet與目前主要的顯著實例分割方法進(jìn)行了實驗比較。實驗結(jié)果顯示，MBCNet 在mAP和mAP兩個評估指標(biāo)上均獲得了明顯優(yōu)勢。本文的貢獻(xiàn)主要體現(xiàn)在以下三方面：

（1）將目標(biāo)實例的邊界特征提取整合到了實例分割模型中，設(shè)計了一個多尺度融合的邊界特征提取分支，該分支以基礎(chǔ)網(wǎng)絡(luò)中F3、F4 和F5 三個層次的特征作為輸入，并通過與實例分割分支聯(lián)合訓(xùn)練的方法實現(xiàn)對實例多尺度特征的有效融合。

（2）針對邊界特征提取分支，提出了帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊，該模塊在訓(xùn)練中可以學(xué)習(xí)到實例不同層次的特征，獲得更加豐富的實例邊界信息。

（3）針對訓(xùn)練過程中目標(biāo)實例的邊界特征提取和顯著實例分割任務(wù)，提出了一個邊界-分割聯(lián)合損失函數(shù)，通過共享特征層將邊界特征提取分支學(xué)習(xí)到的實例邊界信息傳遞到分割網(wǎng)絡(luò)中，使得在同一深度網(wǎng)絡(luò)中，能同時實現(xiàn)實例邊界特征提取和顯著實例分割兩個任務(wù)。

1 相關(guān)工作

1.1 實例分割

實例分割任務(wù)既要完成目標(biāo)檢測中的定位任務(wù)，又要盡可能做到像素級的分類準(zhǔn)確。實例分割方法目前也主要分為兩大類：兩階段實例分割和單階段實例分割。兩階段實例分割方法主要包括自下而上的基于語義分割的方法和自上而下的基于檢測的方法。自下而上的分割思路是首先進(jìn)行像素級別的語義分割，然后通過聚類和度量學(xué)習(xí)等手段進(jìn)行實例識別。這種方法的泛化能力較差，在類別多的復(fù)雜場景中性能不佳。自上而下的方法則需要先在圖像中產(chǎn)生目標(biāo)候選框，然后對候選區(qū)域做分類與回歸。而實現(xiàn)目標(biāo)候選框提取的模型代表為Faster R-CNN，該模型使用區(qū)域選擇網(wǎng)絡(luò)（region proposal network，RPN）取代選擇性搜索（selective search）來產(chǎn)生候選框，真正實現(xiàn)了端到端的訓(xùn)練，大大減少了計算量，并在時間和精度上獲得了較大提升；Mask RCNN在Faster R-CNN 網(wǎng)絡(luò)基礎(chǔ)上添加了一個分割分支，提出了使用ROIAlign 方法來替代ROIPooling，并取消了兩次取整操作，使得分割精度得到進(jìn)一步提升。但相對于輸入圖像，分割分支處的特征圖會進(jìn)行多次的下采樣操作，導(dǎo)致分割邊界產(chǎn)生鋸齒狀，非常不利于對實例邊界的預(yù)測。單階段實例分割受單階段目標(biāo)檢測的啟發(fā)，具有速度優(yōu)勢。Bolya等提出的YOLACT模型具有最大的優(yōu)勢就是實時性，它將實例分割任務(wù)拆分成兩個并行的任務(wù)：首先通過一個Protonet 網(wǎng)絡(luò)，為每張圖片生成一組不依賴于任何實例的原型掩碼；然后對每個實例預(yù)測其線性組合系數(shù)，并通過線性組合生成實例掩碼。Xie等提出的PolarMask 模型參考了FCOS（fully convolutional onestage object detection）模型的設(shè)計思想，用極坐標(biāo)的方法將實例分割任務(wù)轉(zhuǎn)化為實例中心的分類和密集距離回歸的問題，因為極坐標(biāo)是由距離和角度確定的，所以可以很好地利用極坐標(biāo)的方向優(yōu)勢獲得物體的輪廓。

單階段方法在計算速度上優(yōu)于兩階段，分割精度也在逐漸逼近兩階段，甚至有趕超的趨勢。但由于實例分割任務(wù)中不是所有類別和物體都是顯著的，相較于本文任務(wù)，仍存在很大的不同。

1.2 顯著實例分割

顯著實例分割的概念是由顯著性檢測擴(kuò)展而來，顯著性檢測是通過檢測到圖像中最顯著的物體，并將它們從中分割出來的一項任務(wù)。早期的顯著性檢測主要分為兩種：自底向上學(xué)習(xí)模型和自頂向下學(xué)習(xí)模型。這些模型主要根據(jù)圖像的顏色、亮度、紋理等特征，基于局部或全局對比度來進(jìn)行學(xué)習(xí)。之后Liu 等將機(jī)器學(xué)習(xí)算法應(yīng)用于顯著性檢測任務(wù)中。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)在顯著性檢測中表現(xiàn)出明顯的優(yōu)勢，Li等提出的基于多尺度深度特征（multiscale deep features，MDF）的顯著性檢測算法通過對輸入圖像分別進(jìn)行被考慮區(qū)域、相鄰區(qū)域和整個圖像三個尺度的特征提取，將獲得的三個卷積神經(jīng)網(wǎng)絡(luò)與具有兩個全連接層的深度神經(jīng)網(wǎng)絡(luò)相結(jié)合，實現(xiàn)了多尺度信息的提取與融合；Zhao 等利用CNN 提取出超像素局部和全局上下文特征，對圖像進(jìn)行單尺度分割，然后通過卷積神經(jīng)網(wǎng)絡(luò)的分類與回歸，實現(xiàn)對圖像的顯著性檢測。為了解決顯著目標(biāo)不完整的問題，于明等提出基于多圖流形排序的顯著性檢測算法。根據(jù)超像素的顏色和空間特征，分別構(gòu)造K 正則圖和KNN 圖，利用流形排序算法計算得到顯著性值。常振等在傳統(tǒng)基于貝葉斯模型的顯著性檢測基礎(chǔ)上，提出一種結(jié)合圖像背景先驗和凸包先驗的多尺度顯著性檢測算法，通過超像素分割將原圖分割成不同尺度的超像素進(jìn)行融合，有效減少噪聲和冗余，使得顯著區(qū)域更為明顯。盧珊妹等提出多特征注意力循環(huán)網(wǎng)絡(luò)進(jìn)行顯著性檢測，利用空洞卷積和注意力機(jī)制來進(jìn)行多尺度特征提取與融合。

顯著性檢測只關(guān)注于顯著性目標(biāo)區(qū)域的檢測，屬于二元問題，而顯著實例分割則需要在其基礎(chǔ)上，得到顯著物體的像素級實例識別與分割。因此，Li等正式定義了顯著實例分割任務(wù)，并提出了MSRNet（instancelevel salient object segmentation）模型。該模型利用多尺度深度網(wǎng)絡(luò)得到顯著區(qū)域圖（salient region map）和顯著物體輪廓圖（salient object contour map），然后依次經(jīng)過MCG（modified conjugate gradients）和MAP（mean average precision）方法對輪廓圖進(jìn)行計算，從而獲得更加精確的顯著物體建議框。因為顯著物體建議框和顯著區(qū)域存在一定的差異，于是使用條件隨機(jī)場（conditional random field，CRF）方法對兩者的差異點進(jìn)行多分類，最終得到顯著實例的分割結(jié)果。但MSRNet 高度依賴于輪廓圖和后期獲得的實例建議框，且計算量大。

之后，F(xiàn)an等人提出了一個端到端單階段的顯著實例分割網(wǎng)絡(luò)S4Net。與實例分割中使用ROIPooling和ROIAlign方法提取建議框內(nèi)的特征信息有所不同，S4Net模型借鑒了GrabCut的思想，利用目標(biāo)對象和其周圍背景的特征分離能力，提出了基于區(qū)域特征提取層ROIMasking 的顯著實例分割方法。其中，二值ROIMasking通過檢測分支獲得特征圖和建議區(qū)域，并為建議區(qū)域生成二值掩膜，然后通過擴(kuò)張得到二值ROIMasking 的擴(kuò)張建議區(qū)域。與二值ROIMasking相比，擴(kuò)張后的區(qū)域能夠獲得更多的背景信息，從而使分割分支具有更大的感受野。為了更好利用興趣區(qū)域周圍的背景信息，S4Net 通過將感興趣區(qū)域周圍的掩碼值設(shè)置為-1，將二值ROIMasking 升級為三元ROIMasking，使分割分支能夠更好地識別建議框之外的背景。但是，S4Net 存在與Mask R-CNN 模型類似的問題，即深度網(wǎng)絡(luò)中的多次卷積和下采樣會使實例邊界分割不平滑，從而導(dǎo)致整體分割效果差。

最近，Pei 等人提出了一種新的MDNN 模型，該模型框架是無提案、無類別的。MDNN 模型使用密集連接的子區(qū)域化網(wǎng)絡(luò)（densely connected subitizing network，DSN）對子區(qū)域進(jìn)行預(yù)測和計數(shù)，使用密集連接的全卷積網(wǎng)絡(luò)（densely connected fully convolutional network，DFCN）進(jìn)行顯著區(qū)域檢測，然后基于得到的子區(qū)域計數(shù)和顯著區(qū)域，采用基于自適應(yīng)深度特征的譜聚類算法對顯著區(qū)域進(jìn)行分割，得到最終的顯著實例。

1.3 邊緣檢測

邊緣檢測主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法大多是利用圖像的底層特征如顏色、紋理、亮度差異來進(jìn)行邊緣的判斷與切分，如傳統(tǒng)的檢測算子Sobel、Canny等；基于信息理論設(shè)計的手工特征SCG（sparse code gradients）、gPb（globalized probability of boundary）等。傳統(tǒng)邊緣檢測方法大都依賴于人為設(shè)置的經(jīng)驗值，存在很大的局限性。深度學(xué)習(xí)因其自身強大的學(xué)習(xí)能力，對圖像信息進(jìn)行像素級到語義級的信息提取，可以更好地獲取細(xì)節(jié)到全局的信息，明顯優(yōu)于傳統(tǒng)方法。Xie 等提出的整體嵌套邊緣檢測（holistically-nested edge detection，HED），通過全卷積神經(jīng)網(wǎng)絡(luò)和深度監(jiān)督網(wǎng)絡(luò)來進(jìn)行圖像到圖像的預(yù)測，解決了端到端的訓(xùn)練和多尺度的特征學(xué)習(xí)問題。Yang 等借鑒全卷積網(wǎng)絡(luò)在語義分割任務(wù)中的應(yīng)用思想，提出了一個全卷積編解碼網(wǎng)絡(luò)（object contour detection with a fully convolutional encoder-decoder network，CEDN），該網(wǎng)絡(luò)使用編碼-解碼的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行物體輪廓的提取，用VGG16 初始化編碼器，解碼器采用交替的池化層和卷積層組合而成。CEDN 可以支持任意尺寸的圖像輸入，且相比于底層邊緣檢測，更加側(cè)重于高層目標(biāo)輪廓的檢測。因為CNN 下的實例分割往往存在邊界模糊和準(zhǔn)確度低的問題，董子昊等在HED 的基礎(chǔ)上，提出多類別邊緣感知的圖像分割方法。其中利用亞像素的圖像增強算法來實現(xiàn)多尺度的特征融合，構(gòu)建出用于邊緣檢測深度多尺度編解碼模型，從而獲得更加精確的邊緣特征。

2 MBCNet顯著實例分割模型

為了改進(jìn)顯著實例分割中存在的邊界分割粗糙問題，提升顯著實例分割的精度，本文在基準(zhǔn)方法S4Net 的基礎(chǔ)上，提出一種融合多尺度邊界特征的端到端顯著實例分割方法（MBCNet）。該方法利用邊緣檢測思想，通過設(shè)計一個目標(biāo)實例的邊界特征提取分支，結(jié)合帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來促進(jìn)實例邊界信息的提取。該方法可以在同一深度神經(jīng)網(wǎng)絡(luò)框架下同時完成目標(biāo)實例的邊界特征提取和顯著實例分割任務(wù)，并利用提出的邊界-分割聯(lián)合損失函數(shù)，將提取到的邊界特征通過網(wǎng)絡(luò)共享層傳遞到分割分支中，以此來進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

MBCNet 主要由基礎(chǔ)網(wǎng)絡(luò)和三個主要的分支網(wǎng)絡(luò)組成，整體網(wǎng)絡(luò)框架圖如圖1 所示。在圖1 中，基礎(chǔ)網(wǎng)絡(luò)選用ResNet50+FPN 模型作為主干結(jié)構(gòu)進(jìn)行特征提取。ResNet50+FPN輸出的5個有效特征層，能夠為后續(xù)各分支提供不同尺度的特征信息。MBCNet的三個分支分別是：顯著實例定位分支、顯著實例分割分支和目標(biāo)實例的邊界特征提取分支。顯著實例定位分支采用單階段目標(biāo)檢測方法，對圖像中的顯著實例進(jìn)行定位；顯著實例分割分支采用S4Net 中的實例分割分支，實現(xiàn)對顯著實例的像素級分割；目標(biāo)實例的邊界特征提取分支是本文提出的一種新的多尺度融合的邊界特征提取分支，該分支通過帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來提取實例的邊界特征信息，并通過網(wǎng)絡(luò)共享層進(jìn)行邊界信息的傳遞。

圖1 MBCNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of MBCNet

2.1 目標(biāo)實例的邊界特征提取分支

由于不同實例的大小和位置關(guān)系的不同，現(xiàn)有的實例分割任務(wù)中分割的結(jié)果仍存在實例邊界不光滑等問題。而現(xiàn)有基于深度學(xué)習(xí)的邊緣檢測主要使用編碼器-解碼器(encoder-decoder)結(jié)構(gòu)的邊緣檢測算法。該類算法利用深度神經(jīng)網(wǎng)絡(luò)中的卷積、池化等操作所構(gòu)成的編碼器對輸入圖像的像素位置信息和圖像特征信息進(jìn)行編碼，然后利用反卷積或上采樣等操作所構(gòu)成的解碼器來還原圖像的語義信息和像素的位置信息。借鑒于邊緣檢測任務(wù)的實現(xiàn)思想，本文在ResNet50+FPN 基礎(chǔ)網(wǎng)絡(luò)完成初步特征提取的編碼部分的基礎(chǔ)上，構(gòu)建了一個新的目標(biāo)實例的邊界特征提取分支，用來完成邊界特征提取的解碼部分，以更好地實現(xiàn)對目標(biāo)實例邊界特征的細(xì)化處理。為了更清晰地獲取目標(biāo)實例的邊界特征，邊界特征提取分支融合了多個邊界細(xì)化模塊。關(guān)于邊界細(xì)化模塊的具體介紹見2.2 節(jié)，邊界特征提取該分支的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 邊界特征提取分支的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of boundary feature extraction branch

為了進(jìn)一步融合圖像的空間和語義信息，并使模型在不過多增加計算壓力的同時，能夠?qū)W習(xí)到多尺度的特征信息，本文選取基礎(chǔ)網(wǎng)絡(luò)ResNet50+FPN的F3、F4 和F5 三個特征層作為邊界特征提取分支的輸入。MBCNet通過對F4 和F5 兩個高層特征圖分別進(jìn)行雙線性插值（I1、I2）來調(diào)整特征圖尺寸，使得插值后和低層特征圖F3 保持相同的分辨率，以便于后續(xù)對不同層次的特征圖進(jìn)行信息融合。然后分別通過普通卷積（C1）操作后送入邊界細(xì)化模塊（BR1、BR2、BR3）。經(jīng)過邊界細(xì)化模塊處理的特征層首先采用級聯(lián)（Cc2）操作，對多尺度的邊界特征進(jìn)行信息整合，然后使用一個1×1 的卷積（C2）進(jìn)行信道壓縮，使信息整合后的特征層通道數(shù)變?yōu)?4；將整合后的特征層再次送入邊界細(xì)化模塊（BR4）中，以一個更全面的感受野來提取特征的整體信息；最后通過一個卷積核為3×3、通道數(shù)為1 的卷積（C3）得到目標(biāo)實例的邊界特征結(jié)果。具體的目標(biāo)實例的邊界特征提取分支的各層參數(shù)如表1 所示。

表1 目標(biāo)實例的邊界特征提取分支各層參數(shù)Table 1 Parameters of each layer of boundary feature extraction branch of target instance

目標(biāo)實例的邊界特征提取分支不僅可以很好地利用基礎(chǔ)網(wǎng)絡(luò)輸出的特征中所包含的實例邊界信息，而且經(jīng)過多次邊界細(xì)化模塊的學(xué)習(xí)，可以有效增大特征的感受野，更好地獲得實例細(xì)節(jié)處的邊界特征。同時，邊界特征提取分支和顯著實例分割分支可以同時進(jìn)行訓(xùn)練，并將各自學(xué)習(xí)到的特征信息通過網(wǎng)絡(luò)共享層進(jìn)行信息融合。邊界特征提取分支將學(xué)習(xí)到的實例邊界特征送回網(wǎng)絡(luò)共享層，在網(wǎng)絡(luò)共享層實現(xiàn)實例邊界權(quán)重信息的更新，使得顯著實例分割分支不僅能夠通過自身網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)到實例的整體特征信息，還能夠利用邊界特征提取分支學(xué)習(xí)到的實例邊界特征信息，進(jìn)一步提升顯著實例分割任務(wù)的分割精度。

2.2 邊界細(xì)化模塊

目前的實例分割方法在實例的整體分割精度上已經(jīng)獲得了很大提升，但在實例邊界的分割上仍不盡如人意。因此，受到文獻(xiàn)[25]的啟發(fā)，為了獲得更加完整的目標(biāo)實例邊界特征，本文構(gòu)建了邊界細(xì)化模塊（boundary refinement block，BR block），具體結(jié)構(gòu)如圖3 所示。

圖3 邊界細(xì)化模塊結(jié)構(gòu)Fig.3 Structure of BR block

邊界細(xì)化模塊采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，首先使用一個3×3 的普通卷積進(jìn)行初步的特征提取，然后利用ReLU 激活函數(shù)濾掉其他冗余信息；為了獲得不同范圍的特征信息，在邊界細(xì)化模塊中使用3 種不同感受野的卷積核組合而成的混合空洞卷積（hybrid dilation convolution，HDC）來對特征圖進(jìn)行邊界信息的提??；最后通過殘差結(jié)構(gòu)將原始輸入的特征圖與經(jīng)過卷積等一系列操作后的特征圖進(jìn)行維度拼接與特征融合，在提升特征提取精度的同時，可以獲得豐富的實例邊界特征信息。

相比使用普通卷積造成的感受野范圍有限，并且如果增大感受野則必須增大卷積核，使得計算量增加，而連續(xù)使用相同空洞率的空洞卷積會造成網(wǎng)格（gridding）效應(yīng)等問題。混合空洞卷積可以在不改變卷積參數(shù)量的前提下，通過增大空洞率來提升卷積核的感受野。同時，混合空洞卷積的特征提取能夠覆蓋所有的像素點，可以提取到不同尺寸實例的特征，能夠獲得目標(biāo)實例在整個圖像上更遠(yuǎn)距離的上下文信息，得到更加細(xì)致的邊界特征。因此，本文使用了一個空洞率=[1,2,5]，核大小為3×3 的混合空洞卷積，通道數(shù)均為64，分別進(jìn)行不同空洞率的空洞卷積后，再利用一個1×1 卷積進(jìn)行特征融合，特征融合方法如式（1）所示。

其中，(·)為普通卷積；(·)為完成通道數(shù)的疊加；(,)是空洞率=的空洞卷積。

邊界細(xì)化模塊可以讓分割網(wǎng)絡(luò)更加關(guān)注實例的邊界特征，更好地實現(xiàn)實例整體與邊界的擬合。

2.3 損失函數(shù)

針對圖1 描述的顯著實例定位、顯著實例分割和目標(biāo)實例的邊界特征提取三種不同的學(xué)習(xí)任務(wù)，這里分別使用由分類損失、回歸損失、邊界-分割損失構(gòu)成的多任務(wù)損失函數(shù)來聯(lián)合訓(xùn)練模型，并將模型總的損失函數(shù)定義如式（2）所示：

其中，為分類損失；為回歸損失；為邊界-分割聯(lián)合損失。

使用S4Net 中的定義，計算方法如式（3）所示。在顯著實例定位分支中，由于負(fù)樣本數(shù)通常遠(yuǎn)多于正樣本數(shù)，式（3）通過分別計算正樣本和負(fù)樣本的損失來避免在訓(xùn)練過程中損失函數(shù)被負(fù)樣本支配的問題。

采用Fast R-CNN中的平滑L1 損失函數(shù)，計算方式如式（4）和式（5）所示。

目標(biāo)實例的邊界特征提取分支的作用是通過網(wǎng)絡(luò)中的特征共享層將學(xué)習(xí)到的實例邊界特征信息傳遞到實例分割分支中，以達(dá)到提升邊界分割效果的作用。根據(jù)分支的結(jié)構(gòu)，這里為顯著實例分割和目標(biāo)實例的邊界特征提取雙分支訓(xùn)練定義了一個新的聯(lián)合損失函數(shù)，其計算方法如式（6）所示。為了更好地權(quán)衡顯著實例分割和目標(biāo)實例的邊界特征提取對分割結(jié)果的影響，引入一個比例系數(shù)(0 ≤≤3)。

在式（6）中，為顯著實例分割分支的損失函數(shù)，采用的是Mask R-CNN中使用的交叉熵?fù)p失函數(shù)；為目標(biāo)實例的邊界特征提取分支的損失函數(shù)，定義為預(yù)測邊界和真實邊界之間的均方誤差，計算方法如式（7）所示。

3 實驗與分析

3.1 實驗數(shù)據(jù)集

本文實驗使用的數(shù)據(jù)集選取的是Li 等提出的專門用于顯著實例分割任務(wù)的數(shù)據(jù)集saliency instance，數(shù)據(jù)集中的圖像主要選自數(shù)據(jù)集DUT-OMRON、ECSSD、HKU-IS、MSO，大都含有多個顯著目標(biāo)，其中多個目標(biāo)可能是分離的，也可能是相互遮擋的。該數(shù)據(jù)集最初收集了1 388 張圖片，由3 名人工標(biāo)注者進(jìn)行標(biāo)注。為了減少標(biāo)簽不一致對訓(xùn)練結(jié)果的影響，最終選擇1 000 張具有相同標(biāo)注結(jié)果的高質(zhì)量顯著實例圖像。本文以這1 000 幅圖像作為實驗數(shù)據(jù)集，隨機(jī)選取500 張圖片用于訓(xùn)練，200 張用于驗證，300 張用于測試。

3.2 實驗環(huán)境和評價指標(biāo)

實驗的硬件環(huán)境為NVIDIA Quadro K1200，訓(xùn)練時的初始學(xué)習(xí)率設(shè)置為0.002，權(quán)重衰減為0.000 1，動量為0.9。實驗在一個GPU 上共訓(xùn)練40 000 次迭代。實驗基于Tensorflow 框架，以ImageNet 訓(xùn)練的ResNet-50 模型為預(yù)訓(xùn)練模型。

實驗評價指標(biāo)使用不同IoU 閾值下的平均精度均值（mAP）來進(jìn)行模型性能評估和相關(guān)實驗比較。mAP 采取COCO 數(shù)據(jù)集定義的計算方法，且算法中的IoU 采用掩膜IoU，計算方式如式（8）和式（9）所示。其中，表示一張圖片中顯著實例的個數(shù)，表示數(shù)據(jù)集中圖片的總數(shù)量。以mAP為例，表示使用IoU 是否大于0.5 來確定預(yù)測的掩膜在評估中是否為陽性，其余IoU 閾值的指標(biāo)表示方法相同。這里主要使用實例分割研究中常用的mAP和mAP兩個評價指標(biāo)對MBCNet的有效性進(jìn)行評價。

3.3 實驗結(jié)果分析

實驗對比主要從相關(guān)模型的mAP 指標(biāo)、實例分割結(jié)果可視化、不同實例個數(shù)對分割結(jié)果的影響等方面進(jìn)行，將本文提出的MBCNet與顯著實例分割領(lǐng)域目前表現(xiàn)較好的MSRNet、S4Net 和MDNN 進(jìn)行實驗對比。由于MSRNet 和MDNN 的模型沒有提供可復(fù)現(xiàn)的代碼，且MBCNet 模型是在S4Net 的基礎(chǔ)上提出的，這里對MSRNet 和MDNN 的實驗結(jié)果比較僅限于mAP 指標(biāo)。以下對比實驗中，不做特殊說明時，MBCNet中聯(lián)合損失函數(shù)的比例系數(shù)取值均為1。

由于顯著實例分割是一個較新的研究任務(wù)，目前關(guān)于顯著實例分割模型的研究并不多。在顯著實例分割領(lǐng)域有較好表現(xiàn)的模型主要有Li 等提出的MSRNet，F(xiàn)an 等提出的S4Net 和Pei 等提出的MDNN。因此，這里將MBCNet分別與這三個模型進(jìn)行實驗對比，結(jié)果如表2 所示。

表2 不同模型的實驗結(jié)果對比Table 2 Comparison of experimental results of different models %

通過表2 對比可以看出，本文提出的MBCNet 在mAP和mAP兩個評估指標(biāo)上均獲得了明顯優(yōu)勢。其中，在mAP、mAP上較MSRNet 分別提升了23.60 個百分點、15.64 個百分點，較S4Net 分別提升了2.20 個百分點、4.24 個百分點，較MDNN 分別提升了4.00 個百分點、0.07 個百分點。而且，在訓(xùn)練時間上，S4Net 訓(xùn)練整個網(wǎng)絡(luò)共花費3.97 h，MBCNet 的訓(xùn)練時間為4.5 h。雖然MBCNet 的訓(xùn)練時間與S4Net相比有一定提升，但MBCNet在額外增加了邊界特征提取分支網(wǎng)絡(luò)的前提下，模型訓(xùn)練時間提升的幅度有限，并且在測試方面，MBCNet 仍能保證和S4Net一樣的速度，0.148 s可以完成對一張圖片的分割。

由此表明，MBCNet 中的目標(biāo)實例的邊界特征提取分支和帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊的引入對提升顯著性實例分割的準(zhǔn)確率起到了很好的提升作用，但在模型訓(xùn)練時間上增加的開銷有限。

為了更好地說明MBCNet 中的實例邊界特征提取分支對顯著實例分割的貢獻(xiàn)，這里選擇了測試集中部分圖像的分割結(jié)果與目前表現(xiàn)較好的S4Net 分割結(jié)果進(jìn)行了比較，對比結(jié)果如圖4 所示。

圖4 分割結(jié)果的可視化對比Fig.4 Visual comparison of segmentation results

從圖4 結(jié)果對比可以看出，S4Net 模型的分割結(jié)果中出現(xiàn)了顯著物體定位錯誤（A、D）、邊界分割模糊不準(zhǔn)確、存在多余分割（B）、實例分割存在部分缺漏（C、D）和實例分割不連續(xù)（E）等現(xiàn)象。而MBCNet的分割結(jié)果相對較好，無論是多個目標(biāo)是相互分離的，還是存在相互遮擋，MBCNet 都能更好地進(jìn)行區(qū)分，實例邊界更加清晰，分割效果也更加完整。這主要是因為邊界特征提取分支的引入，使得模型在顯著性物體定位時能夠獲得更加完整的實例邊界信息。并且，混合空洞卷積的邊界細(xì)化模塊也提升了模型對實例細(xì)節(jié)的處理能力，讓目標(biāo)實例的邊界和細(xì)節(jié)更加清晰、細(xì)致，使分割出來的實例更加完整。

為了進(jìn)一步說明MBCNet 在分割實例邊界細(xì)節(jié)上的良好表現(xiàn)，圖5 展示了MBCNet 和S4Net 在分割顯著實例邊界細(xì)節(jié)處的結(jié)果對比。仔細(xì)觀察圖5 可以發(fā)現(xiàn)：在A 組圖中，S4Net 對動物的腿部只分割出了一部分，而MBCNet可以將動物的腿部完整地識別出來；在B 組圖中，MBCNet 對人的腳部輪廓劃分更加完整；在C 組圖中，S4Net 對人的整個手肘和小臂造成了遺漏，而MBCNet能夠更好地將人的手肘和小臂分割出來。

圖5 邊界細(xì)節(jié)劃分的結(jié)果對比Fig.5 Comparison of boundary detail partition

總體來說，在MBCNet 模型中，通過網(wǎng)絡(luò)共享層可以將邊界特征提取分支學(xué)習(xí)到的目標(biāo)實例邊界信息傳遞到實例分割分支中，使得分割任務(wù)在關(guān)注實例整體特征的同時，還能關(guān)注到其邊界和細(xì)節(jié)處的特征信息，進(jìn)而能夠更清晰地識別目標(biāo)實例的邊界，提升目標(biāo)實例的分割完整性，最終達(dá)到提高模型分割效果的目的。

表3 展示了S4Net和MBCNet對不同實例個數(shù)的圖像分割所得到的不同分割結(jié)果。從表3 可以看出，隨著圖像中實例個數(shù)的增加，兩種方法的分割性能都呈下降趨勢。但是，MBCNet 在mAP指標(biāo)下完全優(yōu)于S4Net，并且在mAP指標(biāo)下，當(dāng)實例個數(shù)不大于2時，MBCNet的分割效果優(yōu)于S4Net。因此，可以驗證本文提出的MBCNet，不論在稀疏顯著實例還是密集顯著實例的分割場景下，都能保持良好的分割性能。

表3 不同實例個數(shù)的分割結(jié)果對比Table 3 Comparison of segmentation results with different number of instances %

為了獲得最佳的多尺度融合效果，實驗中對基礎(chǔ)網(wǎng)絡(luò)輸出的5 個特征層按順序進(jìn)行了不同尺度的融合實驗，結(jié)果如表4 所示。

表4 多尺度融合策略對分割結(jié)果的影響對比Table 4 Comparison of effects of multi-scale fusion strategies on segmentation results

從表4 中可以看出，當(dāng)邊界特征提取分支輸入的特征層數(shù)大于3 時，模型在mAP和mAP兩個指標(biāo)上獲得了相對較好的結(jié)果，但每次迭代訓(xùn)練的時間會隨著特征層數(shù)的增加而增加；當(dāng)輸入的特征層數(shù)為2 時，雖然模型迭代訓(xùn)練的時間減少了，但模型在mAP和mAP兩個指標(biāo)上的值也有不同程度的下降，這說明輸入特征層數(shù)過少會導(dǎo)致目標(biāo)實例邊界特征信息的丟失；當(dāng)輸入的特征層數(shù)為3 時，F(xiàn)3、F4、F5三個特征層的融合（MBCNet）獲得了最好的分割效果和時間效率。另外，從實驗結(jié)果的比較中可以看出，最底層的F6對邊界特征信息提取的貢獻(xiàn)并不明顯。

為了驗證邊界細(xì)化模塊在MBCNet中的有效性，本文在保持模型其他部分不變的基礎(chǔ)上，對邊界細(xì)化模塊在邊界特征提取分支上的各種組合分別進(jìn)行了實驗。其中，Base 表示邊界特征提取分支中不使用邊界細(xì)化模塊，Base+BR1+BR2+BR3 表示僅對基礎(chǔ)網(wǎng)絡(luò)的F3、F4 和F5 三個特征層邊界信息提取使用邊界細(xì)化模塊，Base+BR4 表示僅對融合后的多尺度信息使用邊界細(xì)化模塊，Base+BR1+BR2+BR3+BR4表示對三個特征層和融合后的多尺度信息均使用邊界細(xì)化模塊，實驗結(jié)果如表5 所示。

表5 邊界細(xì)化模塊各種組合的實驗結(jié)果對比Table 5 Comparison of experimental results of various combinations of BR block %

從表5 中可以看出，Base+BR1+BR2+BR3+BR4在mAP和mAP兩個指標(biāo)上的結(jié)果最好，并且Base+BR1+BR2+BR3 和Base+BR4 在兩個指標(biāo)上的結(jié)果均優(yōu)于Base，這說明邊界細(xì)化模塊在邊界特征提取分支中的使用可以進(jìn)一步提升模型的顯著實例分割效果。為了最大化邊界細(xì)化模塊的作用，本文提出的MBCNet 模型將BR1、BR2、BR3、BR4 同時增加到邊界特征提取分支中，獲得了最佳的顯著實例分割效果。

為了驗證邊界細(xì)化模塊中的混合空洞卷積和殘差結(jié)構(gòu)在MBCNet中的有效性，本文分別構(gòu)建了不使用殘差結(jié)構(gòu)和不使用混合空洞卷積的網(wǎng)絡(luò)結(jié)構(gòu)，并將其記作MBCNet_noResidual 和MBCNet_noHDC。在MBCNet_noHDC 中，使用普通卷積替代混合空洞卷積，除此之外，其他所有訓(xùn)練參數(shù)、訓(xùn)練的方法和迭代次數(shù)均保持一致，結(jié)果如表6 所示。

從表6 中可以看出，在mAP和mAP兩個評估指標(biāo)上，MBCNet 均優(yōu)于MBCNet_noHDC 和MBCNet_noResidual，這說明使用混合空洞卷積和殘差結(jié)構(gòu)能夠達(dá)到提升分割效果的目的。混合空洞卷積可以在不增加額外計算量的情況下，擴(kuò)大感受野，為邊界特征提取分支提供更完整的邊界上下文信息，減少學(xué)習(xí)過程中的有用信息丟失。殘差結(jié)構(gòu)的使用可以實現(xiàn)輸入特征信息和卷積等特征提取操作后的特征層信息的有效融合，為目標(biāo)實例的邊界特征提取提供更加豐富的有用信息。殘差網(wǎng)絡(luò)結(jié)構(gòu)的引入雖然增加了少量的訓(xùn)練時間成本，但可以使模型的分割效果獲得較大幅度的提升。

表6 混合空洞卷積和殘差結(jié)構(gòu)對分割結(jié)果影響對比Table 6 Comparison of influence of HDC and residual structure on segmentation results

為了更進(jìn)一步說明混合空洞卷積對邊界特征提取的有效性，圖6 展示了混合空洞卷積對分割結(jié)果的影響。左列展示的是MBCNet的分割結(jié)果，右列展示的是MBCNet_noHDC 的分割結(jié)果。

圖6 MBCNet和MBCNet_noHDC 的分割結(jié)果的可視化對比Fig.6 Visual comparison of segmentation results between MBCNet and MBCNet_noHDC

從圖6 中可以看出：在A 組左圖中，人和狗的整體和邊界進(jìn)行了很好的區(qū)分，而右圖則視為一體，這表明混合空洞卷積可以很好地將密集的實例區(qū)分開來；B、C 組左圖中因為混合空洞卷積自身有著可以增大感受野范圍的優(yōu)勢，所以對于圖像中較大尺寸的目標(biāo)實例會產(chǎn)生較為顯著的分割效果，而右圖中沒有混合空洞卷積支撐的MBCNet_noHDC 則無法以一個較為全面的感受野來進(jìn)行實例的整體識別，導(dǎo)致了分割結(jié)果的不連續(xù)和存在部分缺失的情況；D 組圖中雖然兩個模型都將挨著的兩朵花區(qū)分開來，但MBCNet 因為可以對細(xì)節(jié)進(jìn)行更好的處理，所以在兩朵花的連接處它表現(xiàn)出了邊界細(xì)節(jié)特征提取的優(yōu)勢，獲得了更佳的分割效果；在E 組圖中，左圖的MBCNet 對小尺寸目標(biāo)實例的特征提取更加完整，相比右圖MBCNet_noHDC 來說得到了更好的整體和邊界的分割效果。

3.3.7 聯(lián)合損失函數(shù)中的取值分析

本文在設(shè)計聯(lián)合損失函數(shù)時，定義了一個比例系數(shù)，用來權(quán)衡顯著實例分割分支和邊界特征提取分支對學(xué)習(xí)結(jié)果的影響。為了獲得最佳的值，這里對的取值進(jìn)行了對比實驗，實驗結(jié)果如圖7所示。

圖7 聯(lián)合損失函數(shù)中λ不同取值的結(jié)果對比Fig.7 Comparison of different values of scale factor λ of joint loss function

從圖7 中可以看出，從0 開始增加的值，模型在mAP和mAP兩個指標(biāo)上的值均呈上升趨勢；當(dāng)=1.0 時，模型在這兩個指標(biāo)上的值均達(dá)到了最高；之后隨著值的增加，mAP和mAP兩個指標(biāo)的值逐漸下降。這說明，值的變化對模型的性能會產(chǎn)生不同程度的影響，同時也說明本文提出的邊界特征提取分支和聯(lián)合訓(xùn)練方法對模型的性能具有重要影響。

為了說明本文提出的邊界-分割聯(lián)合損失函數(shù)的作用，這里分別比較了在S4Net 的實例分割分支中使用的、在MBCNet 的顯著實例分割分支和目標(biāo)實例的邊界特征提取分支中分別使用的和，以及使用邊界-分割聯(lián)合損失函數(shù)的mAP和mAP，結(jié)果如表7 所示。

表7 不同組合的損失函數(shù)結(jié)果對比Table 7 Comparison of loss function of different combinations %

從表7 的結(jié)果對比可以看出，使用本文提出的邊界-分割聯(lián)合損失函數(shù)獲得了最好的分割效果。這表明邊界特征提取分支在聯(lián)合損失函數(shù)的監(jiān)督下，能夠通過網(wǎng)絡(luò)中的特征共享層將學(xué)習(xí)到的實例邊界特征信息傳遞到實例分割分支中，進(jìn)一步提升分割質(zhì)量。

4 結(jié)束語

本文充分考慮到邊界特征對實例分割結(jié)果的影響，提出一種結(jié)合實例邊界信息的端到端顯著實例分割方法MBCNet。在MBCNet 設(shè)計了一個多尺度融合的邊界特征提取分支，使用帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來獲得更加完整的實例邊界特征信息和實例細(xì)節(jié)信息，并通過網(wǎng)絡(luò)共享層實現(xiàn)實例分割過程中邊界特征和語義特征的有效整合。為了實現(xiàn)在同一個網(wǎng)絡(luò)中同時完成實例分割和邊界特征提取兩個任務(wù)，在MBCNet構(gòu)造了一個邊界-分割的聯(lián)合損失函數(shù)。實驗結(jié)果表明本文方法在顯著性實例分割任務(wù)中的有效性，驗證了實例邊界特征提取分支的引入可以進(jìn)一步提升顯著性實例分割的準(zhǔn)確率。本文方法在mAP和mAP分別達(dá)到了88.90%和67.94%，高于同任務(wù)模型S4Net上的結(jié)果。