唐 麗 仝明磊 翁佳鑫

(上海電力大學(xué)電子與信息工程學(xué)院 上海 200090)

0 引 言

近幾年,實(shí)例分割技術(shù)已經(jīng)廣泛應(yīng)用于自動(dòng)駕駛、機(jī)器人、視頻監(jiān)控等領(lǐng)域,正在成為視覺領(lǐng)域最具挑戰(zhàn)性的任務(wù)之一,研究的主要目的是精確定位及分類場(chǎng)景中的目標(biāo),并對(duì)感興趣事物進(jìn)行像素級(jí)分割。

基于目標(biāo)檢測(cè)[1-4]的實(shí)例分割網(wǎng)絡(luò)一般可以分為兩種,一種是雙階段的網(wǎng)絡(luò),另一種是單階段的網(wǎng)絡(luò)。雙階段的方法先經(jīng)區(qū)域推薦網(wǎng)絡(luò)[5](Region Proposal Network)生成一系列的候選框,再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類。He等[6]提出了一種兩階段網(wǎng)絡(luò)Mask R-CNN,在Faster R-CNN[5]的基礎(chǔ)上添加一個(gè)預(yù)測(cè)分割模版的分支,選用ResNet[7]網(wǎng)絡(luò)和FPN[8]網(wǎng)絡(luò)對(duì)輸入圖片進(jìn)行特征提取和特征融合,并行進(jìn)行目標(biāo)分類回歸和模板預(yù)測(cè),將ROI Align代替ROI Pooling,取消取整化操作,保留了浮點(diǎn)數(shù)以提高檢測(cè)精度。但Mask R-CNN沒有考慮到分割質(zhì)量與分類置信度及模板質(zhì)量有關(guān),也沒有意識(shí)到特征金字塔網(wǎng)絡(luò)低層特征到高層特征的融合路徑太長(zhǎng)。為了解決上述問(wèn)題,Huang等[9]提出Mask Scoring R-CNN,通過(guò)增加MaskIOU的分支,對(duì)分割模板進(jìn)行打分,提出了一種新的評(píng)分方法,將分割質(zhì)量和分類置信度相乘作為模板評(píng)分,提高了分割精度。為了提高低層特征在整個(gè)特征層次中的作用,溫堯樂等[10]提出了改進(jìn)Mask R-CNN特征融合的方法,在特征金字塔網(wǎng)絡(luò)的基礎(chǔ)上,縮短融合路徑,增強(qiáng)低層特征在整個(gè)特征層次中的作用,有效地提高了分割的準(zhǔn)確度。

單階段的實(shí)例分割網(wǎng)絡(luò)直接回歸物體的類別概率和位置坐標(biāo)值。Solo[11]網(wǎng)絡(luò)引入“實(shí)例類別”,根據(jù)實(shí)例的位置和大小為實(shí)例中每個(gè)像素分配類別,將實(shí)例分割分為兩個(gè)并行的分支,分別預(yù)測(cè)物體的語(yǔ)義類別和實(shí)例模板,該方法具有較快速度及較高的精度。Polarmask[12]提出一種基于自由錨框的實(shí)例分割網(wǎng)絡(luò),不需要先驗(yàn)檢測(cè)框。BlendMask[13]是單階段的密集實(shí)例分割方法,通過(guò)結(jié)合自上而下和自下而上的方法,在COCO數(shù)據(jù)集上的精度與速度都超越了Mask R-CNN。雖然上述實(shí)例分割網(wǎng)絡(luò)精度很高,但都沒有能夠達(dá)到實(shí)時(shí)分割,為了解決這一問(wèn)題,Bolya等[14]提出實(shí)時(shí)分割網(wǎng)絡(luò)YOLACT,把實(shí)例分割任務(wù)拆分成兩個(gè)并行的子任務(wù),將預(yù)測(cè)層生成的模板系數(shù)和通過(guò)FCN生成的模板原型線性組合得到分割模板。

YOLACT方法中邊界框的分類置信度和定位準(zhǔn)確度的相關(guān)性[15-16]比較低,僅用分類置信度進(jìn)行非極大值抑制,一些定位不準(zhǔn)但置信度高的邊界框被保留,降低了分割平均精度?；诖?我們提出混合邊界框評(píng)分方法,在預(yù)測(cè)網(wǎng)絡(luò)中并行添加預(yù)測(cè)邊界框交并比的一個(gè)分支,將邊界框交并比和分類置信度相乘作為邊界框的評(píng)分,在特征融合階段增加自下而上的特征融合層。這項(xiàng)工作的主要貢獻(xiàn)如下:

(1) 考慮到高層定位信息的貧乏,提出在特征融合階段增加自下而上的特征融合,豐富高層的定位信息,提高了定位準(zhǔn)確度。

(2) 本文方法降低了邊界框的分類置信度和定位準(zhǔn)確度的低相關(guān)性對(duì)模型分割精度的影響,實(shí)驗(yàn)結(jié)果表明,本文方法提高了分割精確度。

1 YOLACT算法簡(jiǎn)介

1.1 YOLACT模型

YOLACT網(wǎng)絡(luò)主要包括特征提取、特征融合、預(yù)測(cè)網(wǎng)絡(luò)和原型模板生成四部分,結(jié)構(gòu)如圖1所示。該算法提出了并行預(yù)測(cè)模板系數(shù)和原型模板,通過(guò)線性組合實(shí)現(xiàn)實(shí)例分割。

圖1 YOLACT網(wǎng)絡(luò)結(jié)構(gòu)

選用Resnet-101對(duì)輸入大小為550×550的圖片進(jìn)行特征提取;基于FPN進(jìn)行特征融合,增強(qiáng)低層特征圖的語(yǔ)義信息量;在融合后的特征圖上進(jìn)行模板系數(shù)、分類置信度和邊界框偏移量的預(yù)測(cè);選取最大的特征圖通過(guò)圖2所示的網(wǎng)絡(luò)得到原型模板;將在[-1,1]區(qū)間的模板系數(shù)和原型模板線性組合,根據(jù)邊界框的大小和位置對(duì)模板裁剪,實(shí)現(xiàn)分割。

圖2 原型模板生成網(wǎng)絡(luò)結(jié)構(gòu)

1.2 預(yù)測(cè)網(wǎng)絡(luò)

YOLACT預(yù)測(cè)網(wǎng)絡(luò)如圖3所示,包含3個(gè)并行分支分別用來(lái)預(yù)測(cè)分類置信度、邊界框的偏移量和模板系數(shù),其中:W、H為圖片的寬度、高度;a為anchor錨框;C為類別置信度。COCO2017訓(xùn)練集包括80種類別,因此網(wǎng)絡(luò)為每個(gè)邊界框預(yù)測(cè)包含背景在內(nèi)的81個(gè)置信度。為每個(gè)邊界框預(yù)測(cè)中心坐標(biāo)和高寬的偏移量,利用這四個(gè)參量對(duì)先驗(yàn)框解碼,得到預(yù)測(cè)框的坐標(biāo)。為每個(gè)錨框預(yù)測(cè)32個(gè)[-1,1]區(qū)間的模板系數(shù)。

圖3 預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

1.3 特征融合

YOLACT特征融合如圖4所示,選取C3、C4和C5層的特征圖,C5經(jīng)過(guò)核為1、步長(zhǎng)為1的卷積得到P5,對(duì)P5用雙線性插值法進(jìn)行上采樣,C4經(jīng)過(guò)核為1、步長(zhǎng)為1的卷積,生成的特征圖逐像素相加得到P4,對(duì)P4上采樣,C3卷積,對(duì)應(yīng)像素相加得P3。P6、P7分別由P5、P6經(jīng)過(guò)核為3步長(zhǎng)為2的卷積下采樣生成。通過(guò)特征金字塔網(wǎng)絡(luò),低層特征圖獲得了高層強(qiáng)語(yǔ)義信息,但高層特征圖卻因?yàn)榻?jīng)歷過(guò)多卷積損失了目標(biāo)的細(xì)節(jié)信息,導(dǎo)致定位模糊。

圖4 特征融合結(jié)構(gòu)

2 改進(jìn)的YOLACT算法

2.1 邊界框交并比預(yù)測(cè)網(wǎng)絡(luò)

因?yàn)閷?shí)例模板通過(guò)模板系數(shù)和原型模板線性組合后需依據(jù)邊界框的大小位置進(jìn)行裁剪,所以定位準(zhǔn)確性會(huì)影響分割的平均精度。為此提出在預(yù)測(cè)網(wǎng)絡(luò)中并行添加一個(gè)分支用來(lái)預(yù)測(cè)邊界框的交并比(biou),網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 添加預(yù)測(cè)框交并比的網(wǎng)絡(luò)結(jié)構(gòu)

在YOLACT中,非極大值抑制時(shí)僅依據(jù)分類置信度,造成一些定位準(zhǔn)確但分類置信度不高的邊界框沒有被保留。本文方法利用邊界框的交并比和分類置信度相乘得分進(jìn)行非極大值抑制,既考慮到置信度又包含了定位準(zhǔn)確度。圖5中的虛線框標(biāo)記處即為添加的預(yù)測(cè)邊界框交并比模塊,和其他分支共享前端卷積,在網(wǎng)絡(luò)最后一層并行添加。改進(jìn)的算法選出定位準(zhǔn)確且分類置信度高的邊界框,提高了定位準(zhǔn)確性和YOLACT分割精度。邊界框評(píng)分方式如式(1)所示。

S=C×BIoU

(1)

式中:S為每個(gè)邊界框的得分;C為分類置信度;BIoU為邊界框交并比。非極大值抑制的算法流程如下:

Step1根據(jù)置信度得分進(jìn)行排序。

Step2選擇置信度最高的候選框,將它的模板系數(shù)、邊界框大小位置、置信度添加到最終輸出列表中,將其從候選框列表中刪除。

Step3計(jì)算置信度最高的邊界框和其他候選框的IoU。

Step4刪除IoU大于閾值的候選框。

Step5重復(fù)上述過(guò)程直到候選框列表為空。

YOLACT中,依據(jù)置信度得分對(duì)邊界框進(jìn)行非極大值抑制,由于分類置信度和定位準(zhǔn)確性的低相關(guān)性,導(dǎo)致一些定位準(zhǔn)確的候選框被刪除。本文方法將邊界框交并比和置信度相乘代替置信度得分,以此評(píng)分進(jìn)行非極大值抑制,可以保留定位準(zhǔn)確且置信度得分高的邊界框。

原型模板和模板系數(shù)線性相乘公式如下:

M=[p1,p2,…,p32]×[M1,M2,…,M32]T

(2)

式中:pj(j∈[1,32])為原型模板,這32個(gè)原型模板效果各不相同,對(duì)特征圖的不同區(qū)域進(jìn)行加強(qiáng),比如前景、背景、左邊等。Mi(i∈[1,32])為模板系數(shù),其中Mi∈[-1,1],當(dāng)目標(biāo)處于圖中左邊時(shí),需加強(qiáng)前景和左邊,弱化背景和右邊等,即加強(qiáng)目標(biāo)所處位置的特征效果,弱化特征圖中其他區(qū)域。當(dāng)將原型模板和模板系數(shù)用式(2)線性組合后,對(duì)組合后的模板依據(jù)邊界框的大小和位置進(jìn)行裁剪,YOLACT中如果僅以置信度進(jìn)行非極大值抑制,保留的邊界框并不一定是定位準(zhǔn)確的邊界框,以此邊界框裁剪,會(huì)降低分割精度。本文方法可以保留定位準(zhǔn)確且置信度得分高的邊界框,對(duì)模板裁剪可以提高分割精度。對(duì)裁剪后的模板進(jìn)行濾波,去除圖片部分噪聲。

為預(yù)測(cè)網(wǎng)絡(luò)引入批量規(guī)范化,解決神經(jīng)網(wǎng)絡(luò)中較常出現(xiàn)的梯度爆炸和梯度消失現(xiàn)象,神經(jīng)網(wǎng)絡(luò)中每層的正向傳播如式(3)所示。

y(n)=W(n)T×σ(y(n-1))+b(n)

(3)

式中:y(n)為第n層的輸出;W(n)T為第n層的權(quán)重;σ(y(n-1))為第n-1層經(jīng)激活函數(shù)后的輸出;b(n)為第n層的線性疊加量。當(dāng)進(jìn)行反向傳播時(shí),需根據(jù)鏈?zhǔn)角髮?dǎo)法則進(jìn)行梯度更新,如果每一層的輸出很大,伴隨層數(shù)增加,最終梯度更新將以指數(shù)形式增加,導(dǎo)致梯度爆炸,當(dāng)每一層的輸出很小,則會(huì)梯度消失。批量規(guī)范化通過(guò)對(duì)每一層的輸出規(guī)范為均值和方差一致,將輸出從飽和區(qū)拉到非飽和區(qū),消除y(n-1)在反向傳播時(shí)帶來(lái)的影響,進(jìn)而避免梯度爆炸和消失。

2.2 改進(jìn)的特征融合網(wǎng)絡(luò)

在YOLACT中,經(jīng)過(guò)特征金字塔網(wǎng)絡(luò),高層特征丟失了細(xì)節(jié)信息。為此,本文在特征金字塔結(jié)構(gòu)的基礎(chǔ)上,增加一層自下而上的特征融合,使高層特征圖融合低層的細(xì)節(jié)信息,網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)的特征融合網(wǎng)絡(luò)結(jié)構(gòu)

在YOLACT中,高層特征圖經(jīng)過(guò)卷積后增加了語(yǔ)義信息,同時(shí)也丟失了定位信息,為此本文方法融合了蘊(yùn)含語(yǔ)義信息與定位信息的兩幅特征圖,改進(jìn)的網(wǎng)絡(luò)模型可以使高層語(yǔ)義信息豐富的同時(shí)增強(qiáng)定位信息。

2.3 損失函數(shù)

在Yolact損失函數(shù)的基礎(chǔ)上添加一個(gè)訓(xùn)練邊界框交并比的損失函數(shù),聯(lián)合損失函數(shù)如式(4)所示。

L=λ1Lconf+λ2Lloc+λ3Lmask+λ4Lseg+λ5Lbiou

(4)

式中:Lconf為分類置信度誤差;Lloc邊界框的位置誤差;Lmask為預(yù)測(cè)模板和真實(shí)模板的交叉熵?fù)p失;Lseg為語(yǔ)義分割損失;Lbiou為邊界框交并比誤差;λ1、λ2、λ3、λ4、λ5為各損失函數(shù)的權(quán)重。因?yàn)槭菍?shí)例分割網(wǎng)絡(luò),所以我們將λ1、λ2、λ4、λ5設(shè)置為1,λ3設(shè)置為6.125,重點(diǎn)訓(xùn)練模板預(yù)測(cè)系數(shù)。

常見的邊界框交并比的損失函數(shù)有滑動(dòng)平均絕對(duì)誤差損失函數(shù)和交叉熵?fù)p失函數(shù)?；瑒?dòng)平均絕對(duì)誤差損失函數(shù)如下:

(5)

式中:x為真實(shí)值和預(yù)測(cè)值的差值。

交叉熵?fù)p失函數(shù)如式(6)所示,其中:i∈pos表示該樣本非背景類;yi表示樣本是否為正樣本;p(yi)表示樣本概率。對(duì)于預(yù)測(cè)的邊界框交并比,可以通過(guò)預(yù)測(cè)邊界框和真實(shí)邊界框的交并比判斷是否為正樣本,將預(yù)測(cè)的邊界框交并比作為樣本概率,理想情況下,當(dāng)樣本為正樣本時(shí),預(yù)測(cè)的交并比值應(yīng)該越大,相應(yīng)的loss會(huì)越小。通過(guò)實(shí)驗(yàn)最終選擇滑動(dòng)平均絕對(duì)誤差損失函數(shù)。

(6)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

實(shí)驗(yàn)基于Linux操作系統(tǒng)Ubuntu 16.04,在PyTorch平臺(tái)上完成訓(xùn)練和測(cè)試。GPU顯卡型號(hào)為Titan X,訓(xùn)練時(shí)學(xué)習(xí)率設(shè)置為0.001,動(dòng)量為0.9,權(quán)重衰減為0.000 5,批處理量大小為8,共進(jìn)行8×105次迭代訓(xùn)練。

本文算法在COCO 2017訓(xùn)練集上進(jìn)行訓(xùn)練,該數(shù)據(jù)集包括80種類別,30多萬(wàn)幅圖片,在COCO 2017測(cè)試集上進(jìn)行測(cè)試。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用的評(píng)價(jià)指標(biāo)為平均精度均值(mAP),其中AP為平均精度,它由式(7)所示的精確率(P)和式(8)所示的召回率(R)決定。

(7)

(8)

式中:TP為真正例;FP為假正例;FN為假反例。P-R曲線即以P和R分別作為縱、橫軸坐標(biāo)的二維曲線,P-R曲線圍起來(lái)的面積就是AP值,而mAP為所有類別AP的平均值。

實(shí)驗(yàn)使用IoU閾值超過(guò)0.5和0.7時(shí)的指標(biāo)AP50和AP70對(duì)mask和box進(jìn)行評(píng)價(jià)。

3.3 實(shí)驗(yàn)結(jié)果與分析

(1) 特征融合實(shí)驗(yàn)。為了提高YOLACT定位的準(zhǔn)確性,在特征融合階段添加自下而上的特征融合路徑,進(jìn)行8×104次迭代,實(shí)驗(yàn)結(jié)果如表1和表2所示。

表1 特征融合實(shí)驗(yàn)box結(jié)果

表2 特征融合實(shí)驗(yàn)mask結(jié)果

由實(shí)驗(yàn)結(jié)果可知,豐富高層的定位信息可以提高box和mask的精度。圖片經(jīng)過(guò)卷積可以得到語(yǔ)義信息但同時(shí)會(huì)導(dǎo)致定位信息的丟失,因此融合分別蘊(yùn)含語(yǔ)義信息與定位信息的兩幅特征圖可以使得高層特征圖獲得強(qiáng)語(yǔ)義信息和定位信息。

(2) 預(yù)測(cè)邊界框交并比實(shí)驗(yàn)。因?yàn)榉诸愔眯哦群投ㄎ粶?zhǔn)確度的低相關(guān)性,在預(yù)測(cè)網(wǎng)絡(luò)中并行添加預(yù)測(cè)邊界框交并比的分支,進(jìn)行8×104次迭代,實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 添加預(yù)測(cè)框交并比分支實(shí)驗(yàn)box結(jié)果

表4 添加預(yù)測(cè)框交并比分支實(shí)驗(yàn)mask結(jié)果

添加預(yù)測(cè)邊界框交并比的分支,將邊界框的交并比和分類置信度相乘作為邊界框的得分,降低分類置信度和定位準(zhǔn)確度低相關(guān)性對(duì)實(shí)例分割網(wǎng)絡(luò)的傷害。由實(shí)驗(yàn)結(jié)果可知,預(yù)測(cè)邊界框交并比分支的加入最終提高了平均精度。

(3) 改進(jìn)YOLACT算法實(shí)驗(yàn)。將特征融合和預(yù)測(cè)邊界框交并比共同加入,進(jìn)行8×105次迭代,實(shí)驗(yàn)結(jié)果如表5所示。因?yàn)槭菍?shí)例分割網(wǎng)絡(luò),對(duì)改進(jìn)YOLACT算法實(shí)驗(yàn)時(shí),我們僅使用IoU閾值超過(guò)0.5和0.75時(shí)的指標(biāo)AP50和AP75對(duì)mask進(jìn)行評(píng)價(jià)。

表5 COCO2017測(cè)試集mask實(shí)驗(yàn)結(jié)果

由實(shí)驗(yàn)結(jié)果可知,與YOLACT相比,自下而上的特征融合引入和預(yù)測(cè)框交并比分支的添加有效地提高了實(shí)例分割的精確度,前者主要通過(guò)增強(qiáng)高層特征圖的定位信息,后者主要通過(guò)將定位準(zhǔn)確度通過(guò)交并比的方式加入評(píng)分中,校正邊界框的評(píng)分。與單階段的PloarMask算法和雙階段FCIS算法相比,本文提出的模型不管在分割精度還是在速度上,都超越了它們,本文算法比起雙階段的代表Mask R-CNN雖然在精度上有一定的差距,但速度上卻遠(yuǎn)遠(yuǎn)超越它,因?yàn)楸疚氖且环N快速的單階段實(shí)例分割模型,在快速的前提下,精度會(huì)有所降低。

不同的GPU會(huì)影響檢測(cè)速度,為此,在相同的GPU上對(duì)YOLACT和本文模型進(jìn)行檢測(cè)速度對(duì)比實(shí)驗(yàn)。由表6可知,雖然本文模型的檢測(cè)速度慢于YOLACT模型的檢測(cè)速度,但依然是一種快速實(shí)例分割模型。因?yàn)樵黾恿俗陨隙碌奶卣魅诤虾皖A(yù)測(cè)邊界框交并比,模型計(jì)算量有所增加,所以影響了檢測(cè)速度。與Titan X相比,Titan Xp的性能遠(yuǎn)優(yōu)于它,而本文模型僅在Titan X的速度就超越了Mask R-CNN、PloarMask和FCIS。

表6 不同算法檢測(cè)速度對(duì)比

在Pascal 2012 SBD數(shù)據(jù)集上進(jìn)行1.2×105次迭代訓(xùn)練,由表7實(shí)驗(yàn)結(jié)果可知,本文方法將YOLACT的平均分割精度提高了3%。

表7 Pascal 2012 SBD mask實(shí)驗(yàn)結(jié)果

圖7為YOLACT和本文算法的分割效果,可以看出本文模型提高了實(shí)例分割效果,如第6行圖中的手機(jī)和第4行的兩只貓,YOLACT出現(xiàn)定位和分割失敗的現(xiàn)象,但本文算法卻能將手機(jī)和兩只貓精確地定位和分割。由邊界框可以看出,定位準(zhǔn)確有助于提高分割效果,YOLACT中,由于邊界框定位不準(zhǔn),第一行第二列中小鳥的頭頂部分分割不精確,第四行第二列中小狗右爪部分沒有被分割,由于自下而上的特征融合加強(qiáng)了高層特征圖的定位信息,新的評(píng)分方式選出了定位準(zhǔn)確的邊界框,以此邊界框?qū)υ湍０宀眉?由分割圖第一行第三列和第四行第三列可以看出,本文模型改善了上述問(wèn)題。

3.4 消融對(duì)比實(shí)驗(yàn)

為了確定添加的預(yù)測(cè)邊界框交并比分支使用的損失函數(shù)和邊界框的評(píng)分方式,進(jìn)行消融對(duì)比實(shí)驗(yàn)。

(1) 損失函數(shù)。選用Sigmoid激活函數(shù),將邊界框交并比分支輸出限制在[0,1]之間,實(shí)驗(yàn)結(jié)果如表8所示。

表8 損失函數(shù)實(shí)驗(yàn)mask結(jié)果

交叉熵?fù)p失函數(shù)需要人為設(shè)定閾值判定邊界框是否為正樣本,閾值的選擇在一定程度上會(huì)產(chǎn)生誤差,而平滑平均絕對(duì)誤差損失函數(shù)并不需要,所以由表8結(jié)果可知,比起交叉熵?fù)p失函數(shù),滑動(dòng)平均絕對(duì)誤差更加適用于訓(xùn)練預(yù)測(cè)邊界框的交并比。

(2) 評(píng)分方式。如果想通過(guò)一個(gè)分?jǐn)?shù)判斷分類和定位準(zhǔn)確性,可以通過(guò)相乘,也可以通過(guò)加法。為了確定邊界框的評(píng)分方式,我們選擇將分類置信度和邊界框的交并比相乘作為一種評(píng)分方式,另外一種評(píng)分方式選擇將分類置信度和邊界框的交并比相加除以2,實(shí)驗(yàn)結(jié)果如表9所示。

表9 框評(píng)分方式實(shí)驗(yàn)mask結(jié)果

由結(jié)果可知,分類置信度和比邊界框交并比相乘的評(píng)分方式結(jié)果更好。究其原因,假設(shè)當(dāng)分類置信度分別為0.8、0.7,框交并比分別為0.6、0.7時(shí),兩者相加的評(píng)分方式會(huì)將兩個(gè)邊界框評(píng)為相同的,但相乘的評(píng)分方式卻不會(huì),相加的評(píng)分方式會(huì)比相乘出現(xiàn)更多的相同分?jǐn)?shù),不利于非極大值抑制。

4 結(jié) 語(yǔ)

本文提出一種混合邊界框評(píng)分方式,在YOLACT模型的預(yù)測(cè)網(wǎng)絡(luò)基礎(chǔ)上并行添加一個(gè)預(yù)測(cè)邊界框交并比的分支,通過(guò)實(shí)驗(yàn)確定將分類置信度和邊界框交并比相乘作為評(píng)分有助于提高分割精度,特征融合階段加強(qiáng)高層特征圖的定位信息,避免因?yàn)槎ㄎ荒：霈F(xiàn)分割失敗的問(wèn)題,實(shí)驗(yàn)結(jié)果表明本文方法有效地提高了YOLACT平均分割精度。

未來(lái)可以考慮將模板的評(píng)分以適當(dāng)?shù)姆绞郊尤氲阶罱K邊界框的評(píng)分,還可以用自適應(yīng)損失權(quán)重方法代替人為設(shè)置損失權(quán)重。