曹春林，陶重犇,2*，李華一，高涵文

實(shí)時(shí)實(shí)例分割的深度輪廓段落匹配算法

曹春林1，陶重犇1,2*，李華一1，高涵文1

1蘇州科技大學(xué)電子與信息工程學(xué)院，江蘇 蘇州 215009；2清華大學(xué)蘇州汽車(chē)研究院，江蘇 蘇州 215134

針對(duì)實(shí)例分割算法在進(jìn)行輪廓收斂時(shí)，普遍存在目標(biāo)遮擋增加輪廓處理的時(shí)間以及降低檢測(cè)框的準(zhǔn)確性的問(wèn)題。本文提出一種實(shí)時(shí)實(shí)例分割的算法，在處理輪廓中增加段落匹配、目標(biāo)聚合損失函數(shù)和邊界系數(shù)模塊。首先對(duì)初始輪廓進(jìn)行分段處理，在每一個(gè)段落內(nèi)進(jìn)行分配局部地面真值點(diǎn)，實(shí)現(xiàn)更自然、快捷和平滑的變形路徑。其次利用目標(biāo)聚合損失函數(shù)和邊界系數(shù)模塊對(duì)存在目標(biāo)遮擋的物體進(jìn)行預(yù)測(cè)，給出準(zhǔn)確的檢測(cè)框。最后利用循環(huán)卷積與Snake模型對(duì)匹配過(guò)的輪廓進(jìn)行收斂，對(duì)頂點(diǎn)進(jìn)行迭代計(jì)算得到分割結(jié)果。本文算法在COCO、Cityscapes、Kins等多個(gè)數(shù)據(jù)集上進(jìn)行評(píng)估，其中COCO數(shù)據(jù)集上取得32.6% mAP和36.3 f/s的結(jié)果，在精度與速度上取得最佳平衡。

實(shí)例分割；目標(biāo)檢測(cè)；Snake模型；目標(biāo)遮擋；初始輪廓

1 引 言

實(shí)例分割是一項(xiàng)新興的計(jì)算機(jī)視覺(jué)任務(wù)，需要在具備語(yǔ)義分割和目標(biāo)檢測(cè)基礎(chǔ)上，對(duì)同一類(lèi)別下物體進(jìn)行逐個(gè)區(qū)分預(yù)測(cè)。預(yù)測(cè)處理對(duì)象是物體實(shí)例，如人、交通工具和建筑物等，而像天空、地面等背景則不需要處理。借助實(shí)例分割可以進(jìn)一步的理解場(chǎng)景上下文信息，然后設(shè)計(jì)出可以操作復(fù)雜任務(wù)的機(jī)器人系統(tǒng)[1]，可用于車(chē)輛的定位[2]和識(shí)別[3]，并將這些用于改善自動(dòng)駕駛的感知系統(tǒng)[4]。但實(shí)例分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，目標(biāo)遮擋和物體模糊會(huì)使得分割更加困難。

為了解決目標(biāo)遮擋和運(yùn)動(dòng)模糊的問(wèn)題，常用的是兩階段[5-6]過(guò)程的實(shí)例分割算法，首先，建立對(duì)象的候選區(qū)域，然后在候選區(qū)域執(zhí)行分類(lèi)與校準(zhǔn)，實(shí)現(xiàn)前景與背景分割。大多數(shù)兩階段的算法利用目標(biāo)檢測(cè)器給出的邊界框進(jìn)行逐像素預(yù)測(cè)，而邊界框的準(zhǔn)確度直接決定后續(xù)的分割精度。并且，這種將目標(biāo)表示為稠密像素的分割算法需要極大的算力和昂貴的后處理。

另一種處理目標(biāo)的方法是通過(guò)輪廓表示，該輪廓由多個(gè)頂點(diǎn)組成。與基于稠密像素的表示方法不同，物體變形范圍不再局限于邊界框內(nèi)，而且所需的參數(shù)點(diǎn)遠(yuǎn)小于稠密像素，可以進(jìn)一步提升分割的速度。在Witkin等[7]提出主動(dòng)輪廓模型(active contour models，ACM)后，基于輪廓的表示方法被廣泛應(yīng)用于實(shí)例分割，一般將這種表示方式稱(chēng)為Snake模型。Snake模型算法分為兩部分，首先，需要給物體一個(gè)初始輪廓，其次，通過(guò)能量函數(shù)進(jìn)行變形，最終得到一個(gè)貼合目標(biāo)的輪廓。但是傳統(tǒng)的Snake模型算法，需要手工制作用于輪廓變形的優(yōu)化函數(shù)，這樣的優(yōu)化函數(shù)是非凸的，存在局部最優(yōu)解，不適合用于實(shí)例分割中。

Peng等[8]提出結(jié)合循環(huán)卷積的方式解決ACM的局部最優(yōu)問(wèn)題，循環(huán)卷積還可以充分利用輪廓的拓?fù)涮匦裕ǔ⑦@種方法稱(chēng)為深度蛇(Deep Snake, DS)。對(duì)于基于ACM[7-8]的算法來(lái)說(shuō)，初始輪廓的獲取與處理決定分割精度和速度。例如，DS獲取初始輪廓需要更多的步驟，首先，給目標(biāo)一個(gè)檢測(cè)框，其次把四條邊界框中點(diǎn)連接成一個(gè)菱形，最后利用DS進(jìn)行變形獲得一個(gè)八邊形，將這個(gè)八邊形作為實(shí)例分割的初始輪廓，這種獲取初始框的方法需要較長(zhǎng)的處理時(shí)間，實(shí)際上會(huì)降低實(shí)例分割的實(shí)時(shí)性。因此，本文提出一種新穎的處理初始框的匹配方法，不同于常用的統(tǒng)一匹配，我們提出的匹配方法將檢測(cè)框四條邊界分為許多小段，降低初始輪廓與目標(biāo)輪廓之間的總誤差，使得處理速度更快。在一些分割算法中，使用Mask RCNN的ROI-Align[6]解決目標(biāo)遮擋的問(wèn)題。該方法依賴(lài)于檢測(cè)框的準(zhǔn)確性以及需要復(fù)雜的后處理，所花費(fèi)的時(shí)間會(huì)加長(zhǎng)。為此，本文利用目標(biāo)聚合損失函數(shù)進(jìn)行目標(biāo)遮擋的優(yōu)化，獲取被遮擋物體準(zhǔn)確的檢測(cè)框，可以減少處理時(shí)間，以更快的獲得處理結(jié)果。

本文的主要貢獻(xiàn)：

1) 提出新穎的初始輪廓處理方法段落匹配，根據(jù)交點(diǎn)將輪廓?jiǎng)澐制危玫礁匀坏膶W(xué)習(xí)路徑，避免了變形時(shí)發(fā)生重疊與交叉，能獲得更快的處理速度，還能保證分割的精度。

2) 使用目標(biāo)聚合損失函數(shù)，通過(guò)對(duì)目標(biāo)預(yù)測(cè)框進(jìn)行吸引和抑制周?chē)臋z測(cè)框，這樣提高預(yù)測(cè)框的準(zhǔn)確性，可在密集和遮擋的場(chǎng)景中更好地檢測(cè)目標(biāo)。

3) 提出一種邊界系數(shù)用于處理目標(biāo)與相鄰目標(biāo)的邊界關(guān)系，將邊界系數(shù)生成的特征與循環(huán)卷積提取的特征進(jìn)行對(duì)齊，將相鄰物體的信息保留下來(lái)，對(duì)相鄰物體實(shí)現(xiàn)更精準(zhǔn)的分割。

4) 基于Snake模型與循環(huán)卷積，利用段落匹配處理初始輪廓，減少處理輪廓時(shí)間；以及利用目標(biāo)聚合損失函數(shù)和邊界系數(shù)優(yōu)化目標(biāo)遮擋情況，增加分割準(zhǔn)確性，在速度與精度上達(dá)到最佳平衡。

2 理論推導(dǎo)

本文的輪廓變形過(guò)程為，首先，CenterNet的檢測(cè)器[9]給出一個(gè)檢測(cè)框，將該檢測(cè)框輸入到段落匹配中，得到更為平滑的初始輪廓，最后再根據(jù)循環(huán)卷積和Snake模型進(jìn)行輪廓變形。本文算法深度輪廓段落匹配(deep contour fragment matching, DCFM)的流程圖如圖1所示。

圖1 DCFM變形流程

2.1 Center Net檢測(cè)器

檢測(cè)器給對(duì)象輸出一個(gè)邊界框(bounding box, BBox)，這個(gè)邊界框決定了實(shí)例分割的精度與速度。本文選用CenterNet作為檢測(cè)器，該網(wǎng)絡(luò)有兩個(gè)特點(diǎn)：檢測(cè)過(guò)程只定義一個(gè)“錨”，無(wú)過(guò)多冗余部分；區(qū)分背景和前景的步驟簡(jiǎn)單，可直接檢測(cè)的是目標(biāo)的中心點(diǎn)和大小。基于這兩個(gè)優(yōu)點(diǎn)，滿(mǎn)足本文算法對(duì)實(shí)時(shí)性的要求。

CenterNet的檢測(cè)過(guò)程中，每一個(gè)類(lèi)別都有相應(yīng)的一張熱圖，當(dāng)熱圖上出現(xiàn)目標(biāo)的中心點(diǎn)，則在該點(diǎn)生成一個(gè)關(guān)鍵點(diǎn)的高斯分布區(qū)域。在關(guān)鍵點(diǎn)(熱圖峰值點(diǎn))周?chē)邪藗€(gè)鄰點(diǎn)，經(jīng)過(guò)最大池化后，只剩下熱值最大的中心點(diǎn)，具體檢測(cè)過(guò)程如圖2所示。再通過(guò)直接回歸的目標(biāo)框尺寸，然后基于目標(biāo)框?qū)捀呒澳繕?biāo)框中心和后處理得到邊界框，本文將基于這個(gè)邊界框進(jìn)行后續(xù)實(shí)驗(yàn)。

2.2 段落匹配

檢測(cè)器輸出的邊界框是初始輪廓準(zhǔn)確性的關(guān)鍵參考，而初始框的獲取與處理是基于輪廓實(shí)例分割方法的重要組成部分。從最早的主動(dòng)輪廓模型[7]處理方式來(lái)看，能量函數(shù)是輪廓變形的主要工具，這也是較為簡(jiǎn)單直接的方法。Snake模型使用的能量函數(shù)由內(nèi)部公式和外部公式組成，內(nèi)部公式控制輪廓的收斂程度，外部公式約束著輪廓形狀，使輪廓收斂到真實(shí)的形狀。但這個(gè)模型容易受到噪聲干擾以及在凹陷形狀收斂時(shí)效果差，所以一般在使用Snake模型時(shí)采用深度學(xué)習(xí)的方式避免出現(xiàn)這些問(wèn)題。DS[8]的初始輪廓由點(diǎn)拓展與連接組成，首先取檢測(cè)框的四條邊界的中心構(gòu)成一個(gè)菱形，其次，通過(guò)DS模型將菱形變成為八邊形，八邊形即初始輪廓。而且這種獲取初始輪廓的方法依賴(lài)學(xué)習(xí)過(guò)程，需要花費(fèi)多一些時(shí)間去處理極點(diǎn)變形，所以本文提出簡(jiǎn)化該初始化過(guò)程的方法，通過(guò)修改初始輪廓的形狀，使用段落匹配處理優(yōu)勢(shì)提高處理速度。

圖2 CenterNet的檢測(cè)過(guò)程

段落匹配的過(guò)程分為3步，首先，取真實(shí)輪廓和邊界框的交點(diǎn)作為劃分片段的端點(diǎn)，設(shè)交點(diǎn)數(shù)量為，每?jī)蓚€(gè)相近的交點(diǎn)為一個(gè)片段，得到-1個(gè)片段。其次，對(duì)-1個(gè)片段按照統(tǒng)一距離取98-個(gè)點(diǎn)，加上個(gè)交點(diǎn)共98個(gè)，符合后續(xù)的采樣點(diǎn)數(shù)。最后，進(jìn)行段落匹配處理，對(duì)所有點(diǎn)進(jìn)行二進(jìn)制賦值，交點(diǎn)為1，非交點(diǎn)為0。把98個(gè)點(diǎn)所在區(qū)域像素進(jìn)行最大池化來(lái)提取特征，將池化后的值與點(diǎn)進(jìn)行相乘。交點(diǎn)賦值為1可以保留完整的特征，實(shí)現(xiàn)特征與點(diǎn)匹配，匹配后的交點(diǎn)直接作為固定頂點(diǎn)不參與后續(xù)變形；而剩余的98-個(gè)點(diǎn)，由于賦值為0，當(dāng)點(diǎn)與特征匹配時(shí)，不能保留相應(yīng)的特征信息，而這些空白點(diǎn)則作為非固定頂點(diǎn)參與變形。

如圖3所示，圖3(a)為段落匹配的結(jié)果圖，圖3(b)為段落匹配與DS對(duì)比圖，圖中深藍(lán)色與綠色顏色線條皆為學(xué)習(xí)偏移量的模擬路徑。從圖3(a)左可以看出DS生成的初始輪廓不能將物體完整的包裹，導(dǎo)致圖3(b)左的學(xué)習(xí)路徑有一部分處于紅色輪廓之外，深藍(lán)色路徑是正常的學(xué)習(xí)偏移量路徑，綠色路徑表示未被包裹部分的學(xué)習(xí)偏移量路徑，出現(xiàn)學(xué)習(xí)路徑交叉或重疊等情況，導(dǎo)致最終的分割效果不佳。而本文使用的段落匹配，從圖3(a)右可以看出，初始輪廓不能將物體完整的包裹，再看圖3(b)右，學(xué)習(xí)偏移量的路徑全部均在輪廓中，這樣可以保證輪廓收斂的準(zhǔn)確。但在大部分場(chǎng)景中，會(huì)出現(xiàn)許多遮擋和模糊等情況，物體碎片化后可能被檢測(cè)器忽略而導(dǎo)致分割失敗，本文利用目標(biāo)聚合損失函數(shù)和邊界系數(shù)模塊優(yōu)化這些情況。

2.3 目標(biāo)遮擋的優(yōu)化

在實(shí)例分割中，目標(biāo)不會(huì)單一出現(xiàn)在背景中，通常會(huì)出現(xiàn)兩種遮擋情況，第一種是出現(xiàn)同類(lèi)物體相互遮擋，第二種是目標(biāo)被干擾物遮擋。當(dāng)目標(biāo)物體被遮擋后，可能被分成幾個(gè)部分，也可能物體只剩一小部分。由于目標(biāo)信息的缺少和不完整，會(huì)出現(xiàn)誤檢和漏檢，使得目標(biāo)定位不準(zhǔn)，嚴(yán)重限制分割的準(zhǔn)確度?？梢允褂肦OI Align[6]去解決目標(biāo)遮擋，該方式準(zhǔn)確度較高，但是所需時(shí)間較長(zhǎng)。受He[6]、Peng[8]和Wang[10]對(duì)目標(biāo)遮擋處理的啟發(fā)，本文使用目標(biāo)聚合損失函數(shù)(target aggregation loss, Target-Agg Loss)優(yōu)化遮擋和模糊的問(wèn)題。

使用的損失函數(shù)有兩個(gè)部分組成，目標(biāo)的牽引與周?chē)矬w的抑制。

圖3 段落匹配的優(yōu)勢(shì)

目標(biāo)聚合損失函數(shù)提高邊界框的準(zhǔn)確性，使得遮擋的物體也能被完整檢測(cè)，為后續(xù)的輪廓變形提供幫助。給遮擋后的目標(biāo)輸出準(zhǔn)確的邊界框，但在邊界框內(nèi)包含多個(gè)物體的信息，相鄰物體由于碎片化有時(shí)被忽略，所以本文通過(guò)下節(jié)的邊界系數(shù)模塊保留更多邊界信息，提高相鄰物體分割精度。

2.4 邊界系數(shù)模塊

檢測(cè)器對(duì)物體給出準(zhǔn)確的邊界框，每一個(gè)邊界框中包含物體特征信息，當(dāng)出現(xiàn)遮擋情況時(shí)，相鄰物體的部分特征信息也留在這一個(gè)邊界框，所以在進(jìn)行輪廓收斂時(shí)，可能會(huì)出現(xiàn)將相鄰物體信息剔除，造成相鄰物體的變形輪廓不夠準(zhǔn)確。本文提出一種可以保留邊界框中的邊界信息的系數(shù)?邊界系數(shù)(boundary coefficient)，該方法可以保留同一個(gè)邊界框中多個(gè)物體的邊界信息，邊界信息包括物體的特征信息和空間信息，從而更好地描述相鄰的物體，這樣可以對(duì)遮擋物體進(jìn)行精準(zhǔn)的實(shí)例分割。受到Y(jié)olact[14]的啟發(fā)，為了生成邊界系數(shù)，在預(yù)測(cè)頭中增加一個(gè)分支?全局平均池化(global average pooling，GAP)層，生成邊界系數(shù)過(guò)程詳見(jiàn)2.5節(jié)的圖4。

在輪廓的收斂變形中，容易出現(xiàn)系數(shù)生成的特征與循環(huán)卷積提取的特征不一致，本文利用特征對(duì)齊把特征進(jìn)行改進(jìn)。

式中：是在處產(chǎn)生的對(duì)齊特征，為輸入特征，是某一個(gè)輪廓點(diǎn)，是回歸偏移量(用于減小特征對(duì)齊時(shí)的偏差)，是sigmoid函數(shù)，將邊界系數(shù)與進(jìn)行線性組合，得到系數(shù)生成的特征。邊界系數(shù)生成的特征包含相鄰物體，通過(guò)與循環(huán)卷積的特征對(duì)齊，這樣避免將相鄰物體誤判，造成相鄰物體的分割不均勻。該系數(shù)的特征對(duì)齊，與算法中的循環(huán)卷積相輔相成，讓遮擋后的呈碎片化物體也能被精準(zhǔn)分割。對(duì)齊后特征直接用于后續(xù)的迭代變形，減小計(jì)算量。

2.5 循環(huán)卷積與變形

使用循環(huán)卷積也能像普通卷積一樣搭建網(wǎng)絡(luò)層，并將其用于輪廓的特征學(xué)習(xí)。本文的網(wǎng)絡(luò)結(jié)構(gòu)與DS一致，由主干網(wǎng)絡(luò)、融合模塊和預(yù)測(cè)頭三個(gè)模塊構(gòu)成。首先，將初始輪廓輸入到主干網(wǎng)絡(luò)中，主干網(wǎng)絡(luò)中有8個(gè)循環(huán)卷積層用于多尺度的特征信息提取，將每個(gè)頂點(diǎn)的特征輸出到融合模塊。融合模塊將每層的各尺度上的輪廓頂點(diǎn)特征進(jìn)行連接，然后使用1×1的卷積核進(jìn)行轉(zhuǎn)發(fā)，再通過(guò)最大池化壓縮特征信息，融合多尺度的輪廓特征。最后，在預(yù)測(cè)頭模塊，利用三個(gè)卷積層對(duì)融合后的特征進(jìn)行處理，生成偏移量用于每個(gè)頂點(diǎn)的輪廓變形；在此基礎(chǔ)上增加GAP層生成邊界系數(shù)，該系數(shù)則用于描述物體邊界。

首先，從經(jīng)過(guò)分配處理的輪廓交點(diǎn)開(kāi)始初始輪廓進(jìn)行均勻點(diǎn)采樣，其次，對(duì)目標(biāo)的形狀也進(jìn)行點(diǎn)采樣，再定義第一個(gè)離交點(diǎn)最近的點(diǎn)為第一頂點(diǎn)(一共有個(gè)頂點(diǎn))，然后分配各頂點(diǎn)所對(duì)應(yīng)的偏移量，最終定義學(xué)習(xí)的目標(biāo)。每個(gè)頂點(diǎn)的偏移量由下式計(jì)算：

將每個(gè)頂點(diǎn)經(jīng)過(guò)偏移量的迭代計(jì)算，結(jié)合之前的坐標(biāo)，更新頂點(diǎn)坐標(biāo)。

因?yàn)轫旤c(diǎn)與目標(biāo)的距離不固定，特別是離目標(biāo)較遠(yuǎn)的頂點(diǎn)，進(jìn)行回歸偏移時(shí)難度較大，所以本文采用迭代優(yōu)化的方法解決這一問(wèn)題。將上一次的偏移量用于下一次的頂點(diǎn)更新，經(jīng)過(guò)更新的頂點(diǎn)離目標(biāo)更近，起到逐漸變形的效果，其中共有個(gè)頂點(diǎn)(為98，可以覆蓋大多數(shù)物體)。變形結(jié)果如圖5所示，圖中黃色點(diǎn)是物體與初始輪廓的交點(diǎn)，交點(diǎn)為偏移量計(jì)算提供參考，這些點(diǎn)劃分的區(qū)域是需要變形的區(qū)域；綠色點(diǎn)是經(jīng)過(guò)更新后的頂點(diǎn)，慢慢地向物體貼合，最終在第三次迭代結(jié)束收斂，得到變形結(jié)果。

圖5 輪廓變形過(guò)程

3 實(shí)驗(yàn)結(jié)果與分析

本文算法在Cityscapes、Kins、COCO和SBD數(shù)據(jù)集上與先進(jìn)算法進(jìn)行評(píng)估比較，以及在COCO與SBD上進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)在Ubuntu18.04環(huán)境下進(jìn)行，處理器型號(hào)是Intel i9-9900K，64 GB內(nèi)存，RTX2080 Ti顯卡進(jìn)行實(shí)驗(yàn)。訓(xùn)練時(shí)，先對(duì)CenterNet檢測(cè)器訓(xùn)練60個(gè)epochs，學(xué)習(xí)率為5e-3，在20，40個(gè)epochs時(shí)學(xué)習(xí)率下降一半。檢測(cè)器訓(xùn)練后，對(duì)Snake變形模塊訓(xùn)練80個(gè)epochs，在20，40，60個(gè)epochs時(shí)學(xué)習(xí)率下降至e-3。

3.1 與其他先進(jìn)方法對(duì)比

Cityscapes的場(chǎng)景很豐富，其中包含數(shù)十個(gè)城市的不同背景、街景；同類(lèi)與不同類(lèi)的物體相互遮擋且呈碎片化分布，被遮擋的物體被分成幾個(gè)部分，給實(shí)例分割增加挑戰(zhàn)性。本文加入目標(biāo)聚合損失函數(shù)，使得被遮擋的物體也能準(zhǔn)確地被邊界框包圍，不會(huì)因?yàn)檎趽踹^(guò)多而造成邊界框無(wú)法準(zhǔn)確定位。表1展示與其他先進(jìn)的方法在Cityscapes的測(cè)試和驗(yàn)證集的結(jié)果。在驗(yàn)證集上本文方法的AP分別比DS和PANet提高1.7%和3.4%，在AP50上分別比DS和PANet增加2.2%和3.5%，本文算法在“人”、“車(chē)”和“貨車(chē)”類(lèi)別取得最佳成績(jī)。本文算法在Kins和Cityscapes數(shù)據(jù)集的分割效果如圖6所示，兩個(gè)數(shù)據(jù)集中有大量的密集和物體重疊場(chǎng)景，通過(guò)本文提出的目標(biāo)聚合損失函數(shù)對(duì)重疊物體給出準(zhǔn)確的檢測(cè)框，以及邊界系數(shù)模塊對(duì)重疊物體的特征改進(jìn)，避免相鄰物體特征的丟失，保證精確分割物體的真實(shí)形狀。

Kins是最大的模態(tài)實(shí)例分割數(shù)據(jù)集，該數(shù)據(jù)集增加許多附加注釋?zhuān)饕槍?duì)模態(tài)實(shí)例分割掩碼、語(yǔ)義標(biāo)簽和像素級(jí)實(shí)例標(biāo)注。該數(shù)據(jù)集采用單獨(dú)的遮擋分類(lèi)模塊和多級(jí)編碼，去優(yōu)化目標(biāo)遮擋的情況，為解決遮擋問(wèn)題的算法提供數(shù)據(jù)集驗(yàn)證。表2展示本文方法與多個(gè)先進(jìn)方法在Kins數(shù)據(jù)集的對(duì)比結(jié)果，“Amdoel”與“Inmodel”是被遮擋和未知物體的兩種注釋?zhuān)罢弋a(chǎn)生的數(shù)據(jù)較為簡(jiǎn)單，相比之下后者更復(fù)雜，也進(jìn)一步增加分割難度。本文在“Amdoel”注釋AP比DS提升了2.3%；在復(fù)雜的“Inmodel”注釋AP依舊穩(wěn)定保持在29.7%，經(jīng)過(guò)對(duì)比展示本文算法良好的分割性能。

表1 與其他先進(jìn)算法在Cityscapes的驗(yàn)證集與測(cè)試集對(duì)比結(jié)果

圖6 Cityscapes與Kins的效果圖

表2 與其他實(shí)例分割方法在Kins的AP對(duì)比

COCO數(shù)據(jù)集標(biāo)注的物體超過(guò)90類(lèi)，數(shù)據(jù)集中的個(gè)體數(shù)目超過(guò)150萬(wàn)個(gè)，場(chǎng)景選自復(fù)雜的日常生活。本文方法與其他先進(jìn)方法在COCO數(shù)據(jù)集評(píng)估分割的性能。直接對(duì)原始像素的圖像進(jìn)行測(cè)試，不需要進(jìn)行額外的處理。表3展示本文算法與其他實(shí)時(shí)算法的性能對(duì)比，在測(cè)試集test-dev，本文的AP比DS提高1.2%；在處理時(shí)間取得34.5 ms，由于不一樣的初始輪廓獲取方式，比DS減少2.3 ms的時(shí)間，說(shuō)明本文算法在實(shí)時(shí)性和精度上達(dá)到了先進(jìn)水平。圖7(a)展示與其他實(shí)時(shí)算法的折線對(duì)比，本文算法如梅花折線所示，左上方梅花塊表明取得36.3 f/s和32.6% mAP的成績(jī)，右下方表示取得38.4 f/s和28.3% mAP的評(píng)估結(jié)果，為了在精度與速度取得最佳平衡，本文算法在COCO數(shù)據(jù)集上最佳成績(jī)?yōu)?6.3 f/s和32.6% mAP；圖7(b)展示與其他算法的PR曲線對(duì)比，在召回率增加到0.5附近時(shí)，其他算法精度下降更快，而本文算法下降趨勢(shì)較緩，基本保持0.7～0.8的精度，在精度與召回率上取得最佳平衡。

表3 與其他的實(shí)時(shí)方法在COCO上的處理時(shí)間對(duì)比

圖7 (a) 各先進(jìn)方法在COCO的速度和實(shí)時(shí)性能；(b) PR曲線對(duì)比

在SBD上的對(duì)象很多都是單一的，存在的遮擋情況比Cityscapes少。針對(duì)這些遮擋，采用與Cityscapes一致的解決方法，給被遮擋物體一個(gè)準(zhǔn)確的邊界框，然后用于后續(xù)的預(yù)測(cè)變形。表4展示了各算法的實(shí)時(shí)性，本文的方法以35.7 f/s運(yùn)行，比DS提升3.4 f/s，達(dá)到先進(jìn)的實(shí)時(shí)水平；取得55.8%的APvol，63.5%的AP50和50.7%的AP70的結(jié)果，即使IoU閾值發(fā)生變化，AP仍然可以保持較好水平，在速度和精度取得平衡。

圖8展示本文算法在SBD和COCO數(shù)據(jù)集的分割結(jié)果。從分割結(jié)果看出，單個(gè)物體的分割效果表現(xiàn)良好，可以準(zhǔn)確地將人的身體完整分割。在遮擋過(guò)多或者物體非常遠(yuǎn)時(shí)，也能精準(zhǔn)預(yù)測(cè)物體的形狀，得到一個(gè)準(zhǔn)確的輪廓。圖9顯示我們整理生活和學(xué)習(xí)中場(chǎng)景分割效果，它展示本文算法的泛化性和魯棒性。

3.2 消融實(shí)驗(yàn)

本文對(duì)SBD與COCO數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)，SBD數(shù)據(jù)集更適合基于輪廓的分割算法使用；COCO數(shù)據(jù)集在實(shí)例分割上有80種語(yǔ)義類(lèi)別，可以全面評(píng)估本文算法處理不同類(lèi)別目標(biāo)時(shí)的能力。在CenterNet給出的定位框基礎(chǔ)上，評(píng)估基線與初始輪廓、分段匹配和目標(biāo)聚合損失函數(shù)對(duì)實(shí)例分割的效果?；€由CenterNet與循環(huán)卷積組成。循環(huán)卷積比普通卷積更加適合輪廓方案，不會(huì)破壞輪廓的拓?fù)浣Y(jié)構(gòu)。具體過(guò)程在目標(biāo)的定位框基礎(chǔ)上，給出包圍目標(biāo)的輪廓，再通過(guò)循環(huán)卷積使輪廓慢慢變形直至貼合目標(biāo)真實(shí)形狀。該基線的處理方式是將輪廓表示為環(huán)形，然后使用循環(huán)卷積網(wǎng)絡(luò)進(jìn)行輪廓的變形。

表5和表6展示消融實(shí)驗(yàn)的結(jié)果。表5使用的基線(Baseline)是CenterNet與循環(huán)卷積組合而成。在基線上增加初始輪廓，該初始輪廓是段落匹配后的，使得APvol增加1.9%；在基線和初始輪廓基礎(chǔ)上增加邊界系數(shù)模塊，使得APvol增加0.7%。表6是在基線、初始輪廓和邊界系數(shù)組合基礎(chǔ)上進(jìn)行評(píng)估，迭代次數(shù)均為3次。該消融實(shí)驗(yàn)中，第一種組合使用段落匹配方法和SmoothL1損失函數(shù)；第二種組合使用目標(biāo)聚合損失函數(shù)(表5、表6和圖10用Target-Agg表示)和均勻匹配(uniformity matching)，其中均勻匹配是DS所使用的匹配方式；第三種組合使用段落匹配和目標(biāo)聚合損失函數(shù)，其AP達(dá)到32.6%，比第一種組合的AP提高2.3%，比第二種組合AP增加1.9%。圖10展示在檢測(cè)中，因?yàn)槟繕?biāo)遮擋和目標(biāo)模糊被漏檢的情況，特別是隨著檢測(cè)閾值的增加，漏檢的次數(shù)會(huì)增加，圖中藍(lán)線是基線的漏檢次數(shù)，在增加目標(biāo)聚合損失函數(shù)后，漏檢次數(shù)明顯降低9%～12%，證明目標(biāo)聚合損失函數(shù)的有效性和魯棒性。

表4 與先進(jìn)方法的實(shí)例分割在SBD上的實(shí)時(shí)比較

圖8 SBD與COCO的效果

圖9 現(xiàn)實(shí)生活中的常見(jiàn)場(chǎng)景分割效果

表5 消融實(shí)驗(yàn)在SBD的評(píng)估結(jié)果

表6 在COCO數(shù)據(jù)集中進(jìn)行消融實(shí)驗(yàn)

圖10 漏檢次數(shù)的消融實(shí)驗(yàn)

表5表示消融實(shí)驗(yàn)結(jié)果，段落匹配后的輪廓使得輪廓變形更加自然，邊界系數(shù)對(duì)多物體的特征對(duì)齊增加分割精度，實(shí)現(xiàn)APvol2.6%的提升。最后為了驗(yàn)證段落匹配與目標(biāo)聚合損失函數(shù)的可靠性，對(duì)不同的匹配方式和損失函數(shù)進(jìn)行比較。表6的定性與定量評(píng)估都顯示，段落匹配比均勻匹配具有更強(qiáng)的輪廓收斂能力。表5和表6共同展示了段落匹配的優(yōu)越性以及本文算法的先進(jìn)性。

4 結(jié) 論

本文提出的處理輪廓變形方法，將段落匹配后的輪廓作為初始輪廓，通過(guò)目標(biāo)聚合損失函數(shù)對(duì)存在遮擋的物體進(jìn)行準(zhǔn)確預(yù)測(cè)，最后利用循環(huán)卷積和Snake模型對(duì)輪廓進(jìn)行迭代變形。在消融實(shí)驗(yàn)中，段落匹配與目標(biāo)聚合損失的組合，在COCO數(shù)據(jù)集上取得32.6% mAP和36.3 f/s的優(yōu)秀成績(jī)，證明本文算法可以更快捷和更準(zhǔn)確進(jìn)行輪廓變形。

[1] Fazeli N, Oller M, Wu J,. See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion[J]., 2019, 4(26): eaav3123.

[2] Zhang Y, Yang J, Yang Y F. The research on fog's positioning performance of vehicles based on visible light[J]., 2020, 47(4): 85–90.

張穎, 楊晶, 楊玉峰. 霧對(duì)基于可見(jiàn)光的車(chē)輛定位性能的研究[J]. 光電工程, 2020, 47(4): 85–90.

[3] Meng F J, Yin D. Vehicle identification number recognition based on neural network[J]., 2021, 48(1): 51–60.

孟凡俊, 尹東. 基于神經(jīng)網(wǎng)絡(luò)的車(chē)輛識(shí)別代號(hào)識(shí)別方法[J]. 光電工程, 2021, 48(1): 51–60.

[4] Ma W C, Wang S L, Hu R,. Deep rigid instance scene flow[C]//, Long Beach, CA, USA, 2019: 3609–3617.

[5] Cao J L, Cholakkal H, Anwer R M,. D2det: Towards high quality object detection and instance segmentation[C]//, Seattle, WA, USA, 2020: 11482–11491.

[6] He K M, Gkioxari G, Dollár P,. Mask R-CNN[C]//, Venice, Italy, 2017: 2980–2988.

[7] Kass M, Witkin A, Terzopoulos D. Snakes: Active contour models[J]., 1988, 1(4): 321–331.

[8] Peng S D, Jiang W, Pi H J,. Deep Snake for real-time instance segmentation[C]//, Seattle, WA, USA, 2020: 8530–8539.

[9] Zhou X Y, Wang D Q, Kr?henbühl P. Objects as points[Z]. arXiv preprint arXiv: 1904.07850, 2019.

[10] Wang X L, Xiao T T, Jiang Y N,. Repulsion loss: detecting pedestrians in a crowd[C]//, Salt Lake City, UT, USA, 2018: 7774–7783.

[11] Neven D, Brabandere B D, Proesmans M,. Instance segmentation by jointly optimizing spatial embeddings and clustering bandwidth[C]//, Long Beach, CA, USA, 2019: 8829–8837.

[12] Liu S, Qi L, Qin H F,. Path aggregation network for instance segmentation[C]//, Salt Lake City, UT, USA, 2018: 8759–8768.

[13] Follmann P, K?nig R, H?rtinger P,. Learning to see the invisible: End-to-end trainable amodal instance segmentation[C]//, Waikoloa, HI, USA, 2019: 1328–1336.

[14] Bolya D, Zhou C, Xiao F Y,. YOLACT: Real-time instance segmentation[C]//, Seoul, Korea (South), 2019: 9156–9165.

[15] Xu W Q, Wang H Y, Qi F B,. Explicit shape encoding for real-time instance segmentation[C]//, Seoul, Korea (South), 2019: 5167–5176.

[16] Jetley S, Sapienza M, Golodetz S,. Straight to shapes: real-time detection of encoded shapes[C]//, Honolulu, HI, USA, 2017: 4207–4216.

Deep contour fragment matching algorithm for real-time instance segmentation

Cao Chunlin1, Tao Chongben1,2*, Li Huayi1, Gao Hanwen1

1School of Electronics and Information Engineering, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China;2Tsinghua University Suzhou Automotive Research Institute, Tsinghua University, Suzhou, Jiangsu 215134, China

Iterative deformation process

Overview:With the help of instance segmentation, the scene information can be better understood, and the perception system of autonomous driving can be effectively improved. However, due to the problems such as object occlusion and object blur during detection, the accuracy of instance segmentation is greatly reduced. Deep neural network is a common method to solve object occlusion and blur. Based on computing resources and real-time considerations, contour-based algorithms are other solutions. Active Contour Model (ACM) is a classic contour algorithm, which is called Snake model. Its parameters are less than those based on dense pixels, which speeds up the segmentation. A novel segmentation algorithm based on ACM combined with cyclic convolution is proposed. The algorithm uses center net as the target detector to update the vertices using the iterative calculation of cyclic convolution and vertex offset calculation, and finally fits the real shape of the body. The algorithm has three main contributions. Firstly, for object occlusion and blurring, a loss function (target aggregation loss) is introduced, which increases the positioning accuracy of the detection box by pulling and repelling surrounding objects to the target. Secondly, the initial contour processing is an important step based on the contour algorithm, which affects the accuracy and speed of subsequent instance segmentation. This paper proposes a method of processing the initial contour, which is fragment matching. The initial contour to be processed is caused by evenly spaced points. The detection box is adaptively divided into multiple segments. The segments correspond to the initial contour. Each segment is matched point by point and assigned vertices. These vertices are the key to subsequent deformation. Finally, in dense scenes, it is easy to lose the information of adjacent objects in the same detection box. This paper proposes a boundary coefficient module to correct the misjudged boundary information by dividing the area and aligning the features to ensure the accuracy of boundary segmentation. The algorithm in this paper is compared with multiple advanced algorithms in multiple data sets. In the Cityscapes dataset, an APvolof 37.7% and an AP result of 31.8% are obtained, which is an improvement of 1.2% APvol compared to PANet. In SBD dataset, the results of 62.1% AP50 and 48.5% AP70 were obtained, indicating that even if the IoU threshold changes, the AP does not change much, which proves its stability. Compared with other real-time algorithms in the COCO dataset, a trade-off between accuracy and speed was achieved, reaching 33.1 f/s, while the COCO test-dev has 30.7% mAP. After the above data analysis, it is proved that the algorithm in this paper has reached a good level in accuracy and speed.

Cao C L, Tao C B, Li H Y,Deep contour fragment matching algorithm for real-time instance segmentation[J]., 2021, 48(11): 210245; DOI:10.12086/oee.2021.210245

Deep contour fragment matching algorithm for real-time instance segmentation

Cao Chunlin1, Tao Chongben1,2*, Li Huayi1, Gao Hanwen1

1School of Electronics and Information Engineering, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, China;2Tsinghua University Suzhou Automotive Research Institute, Suzhou, Jiangsu 215134, China

During the instance segmentation for contour convergence, it is a general problem that target occlusion increases the time for contour processing and reduces the accuracy of the detection box. This paper proposes an algorithm for real-time instance segmentation, adding fragment matching, target aggregation loss function and boundary coefficient modules to the processing contour. Firstly, fragment matching is performed on the initial contour formed by evenly spaced points, and local ground truth points are allocated in each fragment to achieve a more natural, faster, and smoother deformation path. Secondly, the target aggregation loss function and the boundary coefficient modules are used to predict the objects in the presence of object occlusion and give an accurate detection box. Finally, circular convolution and Snake model are used to converge the matched contours, and then the vertices are iteratively calculated to obtain segmentation results. The proposed method is evaluated on multiple data sets such as Cityscapes, Kins, COCO, et al, among which 30.7 mAP and 33.1 f/s results are obtained on the COCO dataset, achieving a compromise between accuracy and speed.

instance segmentation; object detection; snake model; object occlusion; initial contour

10.12086/oee.2021.210245

TP391.4

A

National Natural Science Foundation of China (61801323, 61972454), China Postdoctoral Science Foundation (2021M691848), Science and Technology Projects Fund of Suzhou (SS2019029), and Natural Science Foundation of Jiangsu Province (BK20201405, 19KJB110021, 20KJB520018)

* E-mail: ccl021916@163.com

曹春林，陶重犇，李華一，等. 實(shí)時(shí)實(shí)例分割的深度輪廓段落匹配算法[J]. 光電工程，2021，48(11): 210245

Cao C L, Tao C B, Li H Y,Deep contour fragment matching algorithm for real-time instance segmentation[J]., 2021, 48(11): 210245

2021-07-20；

2021-11-10

國(guó)家自然科學(xué)基金資助項(xiàng)目(61801323，61972454)；中國(guó)博士后科學(xué)基金資助項(xiàng)目(2021M691848)；蘇州市科技項(xiàng)目基金資助項(xiàng)目(SS2019029)；江蘇省高校自然科學(xué)基金資助項(xiàng)目(19KJB110021，20KJB520018)

曹春林(1997-)，男，碩士研究生，主要從事圖像處理和自動(dòng)駕駛的研究。E-mail：ccl021916@163.com

陶重犇(1985-)，男，博士后，講師，主要從事自動(dòng)駕駛的研究。E-mail：tom1tao@163.com