周 楊 楊文柱 申 遠(yuǎn)

(河北大學(xué)網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院 河北 保定 071000)

0 引 言

人物檢測(cè)通常用于檢測(cè)圖像中是否存在人目標(biāo)，之后再獲取圖像中人目標(biāo)的坐標(biāo)。傳統(tǒng)的方式中，HOG和SVM通常被用于人物檢測(cè)，但這非常消耗時(shí)間，通常準(zhǔn)確度也不太高。深度卷積神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中效果表現(xiàn)非常良好，基于深度卷積神經(jīng)網(wǎng)絡(luò)的人物檢測(cè)模型現(xiàn)在變成了主流模型。最近幾年提出了很多新的基于深度卷積神經(jīng)網(wǎng)絡(luò)的模型。Ren等[1]構(gòu)建了用于物體檢測(cè)的深度卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN，其包含兩個(gè)平行的子網(wǎng)絡(luò)，分別用于生成目標(biāo)框的類置信度和提取這些目標(biāo)框的位置信息。Redmon等[2]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)——YOLO。YOLO是一個(gè)沒有區(qū)域建議部分的網(wǎng)絡(luò)。Liu等[3]提出了SSD網(wǎng)絡(luò),這像是YOLO網(wǎng)絡(luò)和區(qū)域建議網(wǎng)絡(luò)的混合體。Lin等[4]提出了RetinaNet，它使用focal loss來計(jì)算損失值。He等[5]提出了SPP-net，該網(wǎng)絡(luò)把輸入圖像轉(zhuǎn)換成了一個(gè)固定大小的圖像。Dai等[6]提出了R-FCN，該網(wǎng)絡(luò)修改并提高了Faster R-CNN的RoI池化部分。在這些網(wǎng)絡(luò)中，YOLOv3是速度最快的一個(gè)，而且準(zhǔn)確率很高。YOLOv3使用Darknet-53作為深度卷積神經(jīng)網(wǎng)絡(luò)部分來提取輸入圖像的特征，提取特征并預(yù)測(cè)檢測(cè)窗口。

YOLOv3使用了傳統(tǒng)的NMS(非極大值抑制)算法[7]，該算法可以替換為最新的Soft-NMS[8]來提高準(zhǔn)確率。在YOLOv3的物體檢測(cè)過程中，傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)會(huì)計(jì)算得到很多重復(fù)的目標(biāo)檢測(cè)框，NMS是用來消除這些重復(fù)的窗口的。但是傳統(tǒng)的NMS移除了所有的重疊率超過閾值的檢測(cè)框，這導(dǎo)致了很多正確預(yù)測(cè)的檢測(cè)框被移除。盡管Soft-NMS提高了準(zhǔn)確率，但還是有一些正確預(yù)測(cè)的檢測(cè)框被移除。所以我們加入了取回算法，該算法可以恢復(fù)丟失的目標(biāo)框，從而提高了準(zhǔn)確率。

1 相關(guān)工作

1.1 傳統(tǒng)人物檢測(cè)方法

對(duì)于傳統(tǒng)的人物檢測(cè)，目標(biāo)物體的特征首先作為模板提取了出來。之后使用不同尺度的滑動(dòng)窗口用于裁剪圖像。裁剪出的小塊圖像的特征會(huì)被提取出來，基于相似度和模板比較來確定它們是否屬于目標(biāo)物體。HOG[9]和SIFT[10]通常用于獲得特征。最后，會(huì)使用數(shù)據(jù)集來訓(xùn)練一個(gè)支持向量機(jī)來預(yù)測(cè)輸入物體是否是一個(gè)人。傳統(tǒng)的方式非常消耗時(shí)間，所以需要一種更快的方式。

1.2 用于人物檢測(cè)的YOLO系列

YOLO系列模型是目前最佳人物檢測(cè)模型。YOLO有三個(gè)版本，是YOLOv1[11]、YOLOv2[12]和YOLOv3。YOLOv1只是簡(jiǎn)單地把輸入圖像分成了幾個(gè)格，并使用GoogleNet[13]對(duì)每個(gè)格進(jìn)行檢測(cè)框預(yù)測(cè)。YOLOv2基于YOLOv1的模型基礎(chǔ)上微調(diào)了分類網(wǎng)絡(luò)。其使用了高分辨率的分類器，并像Faster R-CNN一樣使用錨點(diǎn)。YOLOv2還使用了Darknet-19作為深度卷積神經(jīng)網(wǎng)絡(luò)部分。

YOLOv3使用了Darknet-53作為深度卷積神經(jīng)網(wǎng)絡(luò)部分用于從輸入圖像中提取特征。在使用像MS-COCO[14]這樣的數(shù)據(jù)集來訓(xùn)練之后，就可以提取特征并預(yù)測(cè)物體的檢測(cè)框了。它會(huì)在3個(gè)不同的尺度上預(yù)測(cè)檢測(cè)框，這比較像是一個(gè)特征金字塔網(wǎng)絡(luò)[15]，這樣YOLOv3就可以識(shí)別非常大的或者非常小的物體。在網(wǎng)絡(luò)的結(jié)尾，YOLOv3會(huì)得出輸出數(shù)據(jù)，輸出數(shù)據(jù)包括4個(gè)檢測(cè)框的偏移、1個(gè)目標(biāo)置信度和80個(gè)類置信度。YOLOv3把輸入圖像分成了很多單元，每個(gè)單元會(huì)預(yù)測(cè)幾個(gè)檢測(cè)框，對(duì)于相同的物體會(huì)存在很多重復(fù)錯(cuò)誤預(yù)測(cè)的檢測(cè)框。NMS算法通常被用于移除這些重復(fù)的檢測(cè)框。

由于簡(jiǎn)單的結(jié)構(gòu)和Darknet-53的原因，YOLOv3相比于其他基于深度卷積神經(jīng)網(wǎng)絡(luò)的人物檢測(cè)模型，運(yùn)行得非?？?。使用Nvidia的GTX-1080或者Titan-X就可以實(shí)時(shí)地檢測(cè)人目標(biāo)。所以，它非常適合應(yīng)用在工程中用于滿足日常需要。

1.3 NMS算法

NMS是一種貪心算法，應(yīng)用在計(jì)算機(jī)視覺檢測(cè)上已經(jīng)很多年了。NMS可以被用于邊緣檢測(cè)[16]、特征檢測(cè)、人臉檢測(cè)[17]和物體檢測(cè)。

對(duì)于人物檢測(cè)，NMS算法會(huì)處理YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)生成的檢測(cè)框數(shù)據(jù)。首先，它會(huì)通過檢測(cè)框的置信度來排序，找出置信度最高的檢測(cè)框M。然后再計(jì)算其他更低置信度的檢測(cè)框和M的重疊率，并且設(shè)置了一個(gè)重疊率閾值來確定檢測(cè)框是否應(yīng)該被移除。如果一個(gè)檢測(cè)框的重疊率大于等于該閾值，它就會(huì)被移除出檢測(cè)框列表。在這之后，檢測(cè)框M會(huì)被加入到最終的結(jié)果列表中，第二高置信度的檢測(cè)框會(huì)成為檢測(cè)框M，之后再計(jì)算剩下的更低置信度的檢測(cè)框和新的檢測(cè)框M的重疊率。這個(gè)過程會(huì)一直持續(xù)到列表中沒有檢測(cè)框?yàn)橹?。NMS算法如算法1所示[8]。

算法1NMS算法

輸出：B={b1,b2,…,bN},S={s1,s2,…,sN},Nt。

B是初始檢測(cè)框列表。

S包含了相應(yīng)的檢測(cè)數(shù)值。

Nt是NMS閾值。

Begin

D←{}

WhileB≠emptydo

m←argmaxS

M←m

D←D∪M;B←B-M

forbiinBdo

ifiou(M,bi)≥Ntthen

B←B-bi;

S←S-si

end

end

end

returnD,S

end

但是，當(dāng)存在遮擋的時(shí)候，就是一個(gè)高置信度得分的人被另一個(gè)高置信度得分的人遮住，只是通過重疊率來判斷會(huì)導(dǎo)致錯(cuò)誤移除預(yù)測(cè)檢測(cè)框。如果閾值設(shè)置得太高，會(huì)導(dǎo)致重復(fù)檢測(cè)框從識(shí)別框列表中被移除得太少。如果閾值設(shè)置得太低，一些高置信度的正確檢測(cè)框也會(huì)被從列表中移除。所以，應(yīng)該改進(jìn)NMS算法來讓其更加高效。

2 用于人物識(shí)別的YOLOv3改進(jìn)方法

通過使用Soft-NMS和取回算法來改進(jìn)YOLOv3，這樣會(huì)恢復(fù)一些錯(cuò)誤移除掉的檢測(cè)框。改進(jìn)的YOLOv3算法如圖1所示。

圖1 改進(jìn)的YOLOv3算法

傳統(tǒng)的NMS只是移除所有的重疊率高于閾值的檢測(cè)框。這可能會(huì)導(dǎo)致很多正確的檢測(cè)框被移除。Soft-NMS對(duì)判斷閾值進(jìn)行了修改，盡管Soft-NMS提高了準(zhǔn)確率，依然有一些正確的檢測(cè)框被移除。我們添加了取回算法來發(fā)現(xiàn)未檢測(cè)的人實(shí)例，并恢復(fù)人實(shí)例對(duì)應(yīng)的丟失檢測(cè)框，從而進(jìn)一步提升了準(zhǔn)確率。

2.1 使用Soft-NMS算法過濾錯(cuò)誤預(yù)測(cè)的檢測(cè)框

Boldla等提出了Soft-NMS算法，該算法很像傳統(tǒng)的NMS，但是Soft-NMS沒有立刻移除高重疊率的檢測(cè)框。算法降低了重疊率大于等于閾值的檢測(cè)框的置信度。

傳統(tǒng)的NMS移除步驟可以描述如下：

(1)

式中：iou(M,bi)是最大置信度的檢測(cè)框和剩余檢測(cè)框之間的重疊率。式(1)通過比較iou和Nt閾值來給檢測(cè)框i的置信度Si重新賦值。

當(dāng)檢測(cè)框的重疊率大于等于閾值時(shí)，Soft-NMS降低了檢測(cè)框的置信度。因?yàn)橐勒誝OLOv3的深度卷積神經(jīng)網(wǎng)絡(luò)的原理，檢測(cè)框的重疊率越高，檢測(cè)框越有可能是一個(gè)重復(fù)的錯(cuò)誤的檢測(cè)框。當(dāng)一些檢測(cè)框的重疊率高于閾值時(shí)，就需要被移除。但是當(dāng)置信度很高時(shí)，這意味著它們更加可能是正確的檢測(cè)框，應(yīng)該被保留。所以Soft-NMS保留了重疊率高于閾值的檢測(cè)框，但是不至于高到幾乎完全和檢測(cè)框M重疊的程度，而且這些保留的檢測(cè)框的初始置信度也很高，這樣在被算法降低置信度后依然可以保留。檢測(cè)框幾乎完全和檢測(cè)框M重疊的會(huì)被移除，因?yàn)樗鼈兏赡苁侵貜?fù)的錯(cuò)誤的檢測(cè)框。Soft-NMS的移除標(biāo)準(zhǔn)定義如下：

(2)

式(2)是線性函數(shù)，用來降低檢測(cè)框的置信度。遠(yuǎn)離檢測(cè)框M的檢測(cè)框就會(huì)較少被影響，或者不會(huì)被影響。如果某檢測(cè)框離檢測(cè)框M非常近或者大部分被檢測(cè)框M覆蓋時(shí)，其置信度就會(huì)被降低非常多。最后，在所有的檢測(cè)框置信度被降低后，還使用了另一個(gè)閾值來移除錯(cuò)誤預(yù)測(cè)的檢測(cè)框。降低這些檢測(cè)框的置信度不會(huì)移除重復(fù)檢測(cè)框，所以在降低置信度后，還需要設(shè)置一個(gè)用來過濾低置信度的檢測(cè)框的閾值。

相比于傳統(tǒng)的NMS，Soft-NMS對(duì)于YOLOv3沒有增加更多的計(jì)算。Soft-NMS的計(jì)算復(fù)雜度是O(N2)，與傳統(tǒng)的NMS一樣。N是檢測(cè)框的數(shù)量。每個(gè)檢測(cè)框需要計(jì)算它和最大置信度檢測(cè)框的重復(fù)率，所以Soft-NMS的計(jì)算復(fù)雜度是O(N2)。

Soft-NMS對(duì)于YOLOv3來說是一個(gè)很小的部分。它不會(huì)需要對(duì)YOLOv3進(jìn)行重新訓(xùn)練，所以集成到Y(jié)OLOv3時(shí)不會(huì)花費(fèi)太多的時(shí)間。

2.2 使用取回算法恢復(fù)被遺漏的檢測(cè)框

因?yàn)镾oft-NMS也是通過重疊率來判斷是否移除檢測(cè)框，所以肯定還存在錯(cuò)誤移除的被算法漏掉的檢測(cè)框。對(duì)此，我們可以通過取回算法來取回這些錯(cuò)誤移除的檢測(cè)框。

在取回算法中，我們提取了數(shù)據(jù)集中的人臉圖像的HOG特征，并使用這些特征來訓(xùn)練了一個(gè)SVM。使用NMS和一個(gè)滑動(dòng)窗口來從圖像中截取數(shù)據(jù)并提取對(duì)比特征，我們就可以檢測(cè)人臉了。在改進(jìn)的YOLOv3中，在檢測(cè)出所有的人實(shí)例后，還需要檢測(cè)出圖像中的所有人臉。

因?yàn)槿宋餀z測(cè)框都圍繞在人形狀輪廓之外，所以對(duì)應(yīng)人物檢測(cè)框的檢出人臉一定是完全在人物檢測(cè)框里面。如果有人臉檢測(cè)框在所有人物檢測(cè)框外面，或者與人物檢測(cè)框重疊時(shí)，肯定存在一個(gè)漏掉的人物檢測(cè)框被Soft-NMS算法錯(cuò)誤地移除。所以所有的被Soft-NMS移除的人物檢測(cè)框都會(huì)被再次檢查一遍，查找出那個(gè)完全覆蓋了該人臉檢測(cè)框的人識(shí)別框，因?yàn)橛袝r(shí)候會(huì)發(fā)現(xiàn)好幾個(gè)人識(shí)別框符合要求，這時(shí)候就會(huì)找到置信度最高的那個(gè)來恢復(fù)。

在圖2中，細(xì)線的檢測(cè)框是人物檢測(cè)框，粗線檢測(cè)框是被Soft-NMS漏掉的檢測(cè)框，已經(jīng)被恢復(fù)了回來，虛線的檢測(cè)框是檢測(cè)到的人臉中沒有被完全包含在人識(shí)別框中的人臉檢測(cè)框。在圖2(a)中，人臉檢測(cè)框明顯和人物檢測(cè)框邊界重疊了，所以一定存在被Soft-NMS遺漏的人物檢測(cè)框。

(a)

我們?cè)谶@里會(huì)討論如何判斷一個(gè)人臉檢測(cè)框是否完全在一個(gè)人物檢測(cè)框里。定義(X1,Y1)是人臉檢測(cè)框的右上角的坐標(biāo)；(X2,Y2)是人臉檢測(cè)框的左下角坐標(biāo)；(M1,N1)是人物檢測(cè)框的右上角坐標(biāo)；(M2,N2)是人物檢測(cè)框左下角坐標(biāo)。如果這些點(diǎn)的坐標(biāo)符合如下的條件，人臉檢測(cè)框就屬于完全在人物檢測(cè)框里面的情況。

M1-X1>0,Y1-N1>0

(3)

X2-M2>0,N2-Y2>0

(4)

如果有一個(gè)人臉檢測(cè)框在人物檢測(cè)框外邊或者與人物檢測(cè)框重疊，我們就會(huì)搜索查找所有的原始的沒有被Soft-NMS算法刪減的檢測(cè)框。計(jì)算它們哪一個(gè)完全覆蓋了人臉檢測(cè)框，最后找到最高的置信度的那個(gè)人物檢測(cè)框。之后該人物檢測(cè)框就會(huì)被取回恢復(fù)，所以人物檢測(cè)準(zhǔn)確度就會(huì)提高。

圖3展示了取回算法的流程。

圖3 取回算法的流程

3 實(shí) 驗(yàn)

實(shí)驗(yàn)使用的數(shù)據(jù)集是PASCAL VOC 2007[18]。YOLOv3使用的權(quán)重是官網(wǎng)的作者訓(xùn)練好的權(quán)重，該權(quán)重訓(xùn)練使用的數(shù)據(jù)集是MS-COCO。PASCAL VOC數(shù)據(jù)集的測(cè)試部分被用于測(cè)試改進(jìn)的YOLOv3的平均精確度。PASCAL VOC測(cè)試部分包含了大約5 000幅圖片。

實(shí)驗(yàn)中，我們?cè)O(shè)置了NMS重疊閾值為默認(rèn)值0.3，該默認(rèn)值是作者發(fā)現(xiàn)的可以獲得最高準(zhǔn)確率的值。對(duì)于Soft-NMS，除了重疊閾值Nt設(shè)置為0.3，還有一個(gè)Soft-NMS作者設(shè)置的閾值σ，通過對(duì)物體置信度進(jìn)行與該閾值的比對(duì)，最終移除錯(cuò)誤預(yù)測(cè)的檢測(cè)框，該σ值設(shè)置為0.4。該閾值設(shè)置得太高會(huì)移除掉所有的檢測(cè)框，設(shè)置得太低也會(huì)降低檢測(cè)準(zhǔn)確度，因?yàn)闄z測(cè)框具有非常高的重疊率時(shí)，它就更可能是一個(gè)重復(fù)的檢測(cè)框。設(shè)置一個(gè)低閾值意味著檢測(cè)框很少會(huì)被移除。在對(duì)該閾值嘗試了很多數(shù)值之后，數(shù)據(jù)結(jié)果如圖4所示，當(dāng)設(shè)置為0.4時(shí)，得到了最高的準(zhǔn)確率。網(wǎng)絡(luò)的輸入分辨率設(shè)置為了416。在對(duì)PASCAL VOC數(shù)據(jù)集進(jìn)行檢測(cè)結(jié)束后，我們計(jì)算了檢測(cè)的準(zhǔn)確率，使用了傳統(tǒng)的NMS的YOLOv3和使用Soft-NMS和取回算法改進(jìn)的YOLOv3的準(zhǔn)確率如表1所示。

圖4 不同σ值下進(jìn)行人物檢測(cè)的準(zhǔn)確率

表1 使用Soft-NMS和取回算法改進(jìn)的YOLOv3的準(zhǔn)確率結(jié)果

可以看出，在使用了Soft-NMS和取回算法后，準(zhǔn)確率提升了3.1百分點(diǎn)。圖5所示的部分實(shí)驗(yàn)結(jié)果證明了Soft-NMS帶來的改進(jìn)。圖5中(a)、(c)、(e)、(g)是使用YOLOv3和Soft-NMS的檢測(cè)結(jié)果，(b)、(d)、(f)、(h)是使用YOLOv3和NMS的檢測(cè)結(jié)果。圖5(a)和圖5(b)中，上衣上印有PM的女孩被NMS給遺漏了。在圖5(c)和圖5(d)中，紅色上衣的人被遺漏了。在圖5(e)和圖5(f)中，站在后面的女孩被遺漏了。在圖5(g)和圖5(h)中，左半部分中間的人被遺漏了。

由此我們可以看出，使用NMS時(shí)，一些人的檢測(cè)框由于超過了閾值而被移除。通過使用Soft-NMS，由于其使用了置信度判斷更加合理，NMS中錯(cuò)誤移除的檢測(cè)框可以被保留，提高了最終的檢測(cè)精度。

(a)

圖6中，虛線的檢測(cè)框是被Soft-NMS漏掉的人物檢測(cè)框?qū)?yīng)的人臉檢測(cè)框。他們被取回算法恢復(fù)了，檢測(cè)框被標(biāo)為了粗線。

(a)

我們比較不同模型消耗的時(shí)間，結(jié)果如表2所示。模型和它們的速度通過每秒處理幀數(shù)(Frames Per Second，F(xiàn)PS)來測(cè)量。從表2中看到，改進(jìn)的YOLOv3相比其他模型有著最高的速度，同時(shí)精確度也被提升了。

表2 人物檢測(cè)模型和它們的檢測(cè)速度

4 結(jié) 語

通過替換NMS為Soft-NMS，加入了取回算法，本文對(duì)YOLOv3進(jìn)行了改進(jìn)。通過使用Soft-NMS算法，高置信度的檢測(cè)框的置信度被降低了，而不是徹底從最終結(jié)果中移除掉，從而提升了準(zhǔn)確度。Soft-NMS的算法復(fù)雜度與傳統(tǒng)的一樣。取回算法恢復(fù)了Soft-NMS遺漏的檢測(cè)框，進(jìn)一步提升了準(zhǔn)確度。

Soft-NMS和取回算法可以被集成到其他未來的人物檢測(cè)模型中去來提高性能。它們也可以集成到其他模型中用于人追蹤。關(guān)于取回算法，還有更多可以改進(jìn)的東西。據(jù)我們所知，檢測(cè)的人臉檢測(cè)框必須完全在人物檢測(cè)框中。但是如果有兩個(gè)人臉檢測(cè)框完全在一個(gè)人物檢測(cè)框中，一個(gè)人臉會(huì)被遺漏掉，其所屬的人物檢測(cè)框也不會(huì)恢復(fù)。為了解決這個(gè)問題，YOLOv3的神經(jīng)網(wǎng)絡(luò)可以通過修改輸出結(jié)果為包含人識(shí)別框信息和人臉識(shí)別框信息，并通過計(jì)算取回算法中的人臉檢測(cè)框和修改的YOLOv3中輸出的人臉識(shí)別框信息，并設(shè)置一個(gè)像NMS的閾值，就可以移除相應(yīng)的人物檢測(cè)框。然后遺漏的人臉就不會(huì)完全在人物檢測(cè)框中，其所屬的人物檢測(cè)框就可以恢復(fù)，準(zhǔn)確度就可以進(jìn)一步提升。