肖順亮，強(qiáng)贊霞，劉衛(wèi)光

(中原工學(xué)院 計(jì)算機(jī)學(xué)院，河南 鄭州 451191)

0 引 言

行人檢測(cè)技術(shù)在日常生活中應(yīng)用越來(lái)越廣泛，比如自動(dòng)駕駛[1]、視頻監(jiān)控[2]、機(jī)器人路徑規(guī)劃、行人再識(shí)別技術(shù)中都涉及到行人檢測(cè)問(wèn)題。由于它具有極大的應(yīng)用研究?jī)r(jià)值，越來(lái)越引起學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，從傳統(tǒng)的手工提取圖像特征到通過(guò)神經(jīng)網(wǎng)絡(luò)提取圖像特征的轉(zhuǎn)變，行人檢測(cè)的效率和準(zhǔn)確率在標(biāo)準(zhǔn)數(shù)據(jù)集上有了很大提高。然而，在實(shí)際場(chǎng)景中由于行人之間的相互遮擋、行人被其他障礙物遮擋，以及行人尺度的多變性等因素，當(dāng)前的行人檢測(cè)算法常常會(huì)出現(xiàn)誤檢和漏檢的情況[3]。因此，在擁擠條件下的行人檢測(cè)技術(shù)仍面臨著挑戰(zhàn)，檢測(cè)的誤檢率需要進(jìn)一步降低。

行人檢測(cè)可以看作是目標(biāo)檢測(cè)中的一類(lèi)被檢測(cè)對(duì)象，可以使用目前比較成功的目標(biāo)檢測(cè)算法。常見(jiàn)的目標(biāo)檢測(cè)算法可分成兩大類(lèi)：一類(lèi)是基于錨框(Anchor-base)的目標(biāo)檢測(cè)算法，如以Faster-RCNN[4]為代表的two-stage檢測(cè)方法和以SSD[5]為代表的one-stage檢測(cè)方法。另一類(lèi)是無(wú)錨框(Anchor-free)的目標(biāo)檢測(cè)算法，如基于關(guān)鍵點(diǎn)檢測(cè)的CornerNet[6]目標(biāo)檢測(cè)算法。以上兩類(lèi)目標(biāo)檢測(cè)算法都成功應(yīng)用于行人檢測(cè)技術(shù)中，并取得了一定進(jìn)展。

然而，在實(shí)際場(chǎng)景中由于行人自身尺度的多變性，單一尺度的行人檢測(cè)算法無(wú)法適應(yīng)不同的尺度，達(dá)不到最優(yōu)檢測(cè)效果[7]，加上行人之間的遮擋和行人被其他障礙物遮擋等因素，目前的行人檢測(cè)算法在擁擠情況下的漏檢率有待進(jìn)一步降低。為解決這一問(wèn)題，該文在CSP[8]方法的基礎(chǔ)上，采用ResNet-50[9]網(wǎng)絡(luò)結(jié)構(gòu)與特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)[10]，將包含有較多位置信息的淺層特征層與包含較多語(yǔ)義信息的深層特征層相融合，最后用于預(yù)測(cè)的特征層既包含較多的行人位置信息也包含較多的行人語(yǔ)義信息。針對(duì)實(shí)際場(chǎng)景中行人尺度的多變性，該文采用多尺度預(yù)測(cè)方法，以適應(yīng)更多的行人尺度變化。由于擁擠情形下，行人預(yù)測(cè)框之間的相交面積與相并面積的比值(intersection over union，IoU)相對(duì)比較大，采用標(biāo)準(zhǔn)的非極大值抑制(non-maximum suppression，NMS)處理方法會(huì)抑制掉部分有效預(yù)測(cè)結(jié)果。因此，該文使用DIoU(distance-IoU)[11]的NMS算法對(duì)預(yù)測(cè)結(jié)果進(jìn)行處理，進(jìn)而保留更多有效預(yù)測(cè)。所有實(shí)驗(yàn)均在Cityperson[12]數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證，結(jié)果表明該算法在行人擁擠情況下，較其他算法在嚴(yán)重遮擋評(píng)價(jià)指標(biāo)的漏檢率有所降低，同等實(shí)驗(yàn)條件下與CSP算法相比，行人嚴(yán)重遮擋和無(wú)遮擋的漏檢率均有所降低。

1 相關(guān)工作

1.1 行人檢測(cè)

行人檢測(cè)是指在圖像或視頻中找到行人的位置以及確定行人的尺寸，常見(jiàn)的行人檢測(cè)方法有傳統(tǒng)的基于滑動(dòng)窗口的檢測(cè)方法、當(dāng)前基于預(yù)設(shè)錨框的檢測(cè)方法，以及基于關(guān)鍵點(diǎn)檢測(cè)的行人檢測(cè)方法。從有無(wú)預(yù)先設(shè)置錨框的角度，行人檢測(cè)方法可分為兩類(lèi)：一類(lèi)是基于錨框的行人檢測(cè)方法，另一類(lèi)是無(wú)錨框的行人檢測(cè)方法。

1.2 Anchor-base檢測(cè)方法

基于Anchor-base檢測(cè)算法中，一個(gè)重要組成部分就是Anchor的設(shè)置，檢測(cè)之前要提前預(yù)設(shè)好Anchor的尺寸或者比例，檢測(cè)時(shí)根據(jù)預(yù)先設(shè)定好的Anchor進(jìn)行回歸。Faster-RCNN通過(guò)預(yù)先設(shè)定好Anchor的寬高比，然后通過(guò)推薦網(wǎng)絡(luò)生成可能與目標(biāo)匹配的錨框。Zhang等[12]調(diào)整了Faster-RCNN算法用于行人檢測(cè)；曾接賢[13]針對(duì)行人尺度較小情況下的誤檢問(wèn)題，提出了融合多層特征的多尺度行人檢測(cè)算法；郭愛(ài)心[14]為提升中小尺度的行人檢測(cè)效果，提出了一種特征融合的多尺度行人檢測(cè)算法；劉丹[15]采用語(yǔ)義信息來(lái)監(jiān)督網(wǎng)絡(luò)訓(xùn)練，提出了具有魯棒性的行人檢測(cè)算法；Adaptive NMS[16]通過(guò)預(yù)測(cè)行人的密度，在檢測(cè)結(jié)果處理階段，根據(jù)行人的密度動(dòng)態(tài)調(diào)整NMS的閾值，從而保留更多有效檢測(cè)框。以上基于Anchor的行人檢測(cè)算法，都需要預(yù)先設(shè)置好錨框，從而增加了算法的復(fù)雜度。

1.3 Anchor-free檢測(cè)方法

基于Anchor-free檢測(cè)算法省去了錨框尺寸的設(shè)定，檢測(cè)時(shí)直接回歸目標(biāo)的位置和邊框，簡(jiǎn)化了算法，提高了檢測(cè)速度。近年來(lái)有研究者提出基于關(guān)鍵點(diǎn)檢測(cè)的Anchor-free檢測(cè)算法，比如CornerNet通過(guò)預(yù)測(cè)目標(biāo)左上角和右下角的坐標(biāo)，進(jìn)而確定目標(biāo)在圖像中的位置。ExtremeNet[17]通過(guò)檢測(cè)目標(biāo)上下、左右四個(gè)極值點(diǎn)的坐標(biāo)，從而確定目標(biāo)在圖像中的位置。TLL[18]提出了預(yù)測(cè)目標(biāo)上下兩個(gè)頂點(diǎn)的坐標(biāo)來(lái)確定目標(biāo)的位置,這些無(wú)錨框的目標(biāo)檢測(cè)算法在檢測(cè)速度上比基于錨框的目標(biāo)檢測(cè)算法更快，其檢測(cè)效果與基于錨框的目標(biāo)檢測(cè)算法相當(dāng)，甚至在某些應(yīng)用場(chǎng)景下其檢測(cè)效果超過(guò)基于錨框的目標(biāo)檢測(cè)效果。

最近Liu Wei等人提出了基于Anchor-free思想的CSP行人檢測(cè)算法，把行人的中心點(diǎn)和身高作為高級(jí)語(yǔ)義信息，通過(guò)預(yù)測(cè)行人的中心點(diǎn)位置和身高，根據(jù)行人身高和寬高固定比例生成行人預(yù)測(cè)框，整個(gè)算法流程中擺脫了錨框的生成，以及預(yù)測(cè)框與真實(shí)框之間的IoU計(jì)算，減少了算法的計(jì)算量，同時(shí)也取得了較好的檢測(cè)效果。但CSP行人檢測(cè)算法對(duì)不同尺度的行人采用統(tǒng)一尺度檢測(cè)器，由于大目標(biāo)和小目標(biāo)行人的自身尺度差異，使檢測(cè)效果不能達(dá)到最優(yōu)。在檢測(cè)結(jié)果的后續(xù)處理問(wèn)題上，CSP行人檢測(cè)算法采用的是標(biāo)準(zhǔn)的非極大值抑制算法，閾值設(shè)定相對(duì)盲目，不能達(dá)到更有效的處理效果。張慶伍[19]采用特征融合和多尺度結(jié)合的Anchor-free行人檢測(cè)算法，在擁擠情況下產(chǎn)生了大量重復(fù)預(yù)測(cè)。針對(duì)以上問(wèn)題，該文借鑒了FPN特征融合策略，采用多尺度預(yù)測(cè)方法，針對(duì)不同大小的行人采用不同的尺度預(yù)測(cè)分支進(jìn)行預(yù)測(cè)，然后綜合所有尺度的預(yù)測(cè)結(jié)果，通過(guò)DIoU-NMS后處理抑制掉重復(fù)預(yù)測(cè)框，降低行人漏檢率，提高算法的性能。實(shí)際檢測(cè)中，為了減少行人實(shí)際中心點(diǎn)位置與預(yù)測(cè)中心點(diǎn)位置的偏差，在檢測(cè)頭部分添加了中心點(diǎn)偏移分支，通過(guò)縮小兩者差距使檢測(cè)更加準(zhǔn)確。

2 算法設(shè)計(jì)

2.1 模型設(shè)計(jì)

整個(gè)行人檢測(cè)模型結(jié)構(gòu)一共包含四個(gè)部分：特征提取模塊、特征融合模塊、行人預(yù)測(cè)模塊和預(yù)測(cè)結(jié)果后處理模塊。特征提取模塊采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特征提取操作，把圖像I作為輸入，每經(jīng)過(guò)一次卷積會(huì)形成一個(gè)特征層，整個(gè)卷積過(guò)程中圖像特征層的變化如下：

φi=fi(φi-1)=fi(fi-1(…f2(f1(I))))

(1)

其中，φi表示第i層的輸出特征層，fi表示對(duì)第i層特征的卷積、池化、歸一化、激活等操作。每個(gè)特征層包含了目標(biāo)的不同位置信息和語(yǔ)義信息，實(shí)際檢測(cè)中可以對(duì)不同特征層進(jìn)行融合，N層的特征層可用一個(gè)集合表示為：

Φ={φ1,φ2,…,φN}

(2)

其中，Φ表示特征層集合。用Φdet表示最終用于檢測(cè)的特征層集合，則Φdet={φl(shuí),φl(shuí)+1,…,φN}，1

文中算法采用ResNet-50作為行人特征提取主干網(wǎng)絡(luò)，整個(gè)特征提取卷積層劃分為五個(gè)特征層，前四個(gè)特征層分別通過(guò)前一層下采樣操作得到當(dāng)前特征層，最后一層特征層通過(guò)前一層空洞卷積操作得到當(dāng)前特征層，最終得到五個(gè)特征層圖像尺寸分別為原圖像尺寸的1/4、1/16、1/64、1/256、1/256。特征融合模塊采用FPN特征融合策略，其特征融合過(guò)程為：使上層特征通過(guò)反卷積操作，把圖像的特征尺寸調(diào)整為下層特征尺寸大小，然后再與下層特征進(jìn)行相加融合。融合后的特征層通過(guò)一個(gè)3×3的卷積核進(jìn)行平滑操作，得到最終可以用于檢測(cè)的Φ2、Φ3、Φ4特征層。行人預(yù)測(cè)模塊通過(guò)三個(gè)1×1的卷積核，分別預(yù)測(cè)行人尺度(scale)、行人中心點(diǎn)(center)和中心點(diǎn)偏離(offset)。預(yù)測(cè)結(jié)果后處理模塊通過(guò)DIoU-NMS處理，去除同一個(gè)行人的重復(fù)預(yù)測(cè)框，得到最終的預(yù)測(cè)結(jié)果，整個(gè)行人檢測(cè)流程如圖1所示。

圖1 行人檢測(cè)流程

2.2 數(shù)據(jù)標(biāo)注

基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法通常標(biāo)注的有目標(biāo)角點(diǎn)、目標(biāo)中心點(diǎn)、目標(biāo)中軸線、目標(biāo)四周的極值點(diǎn)等。文中算法采用的是行人的中心點(diǎn)和身高作為高級(jí)語(yǔ)義特征信息，把行人的中心點(diǎn)作為正樣本，標(biāo)注為1，其他位置坐標(biāo)作為負(fù)樣本，標(biāo)注為0。由于Cityperson數(shù)據(jù)集標(biāo)注的行人寬高比固定，因此，可根據(jù)行人高度預(yù)測(cè)結(jié)果自動(dòng)計(jì)算出行人的寬度，再根據(jù)預(yù)測(cè)的行人中心點(diǎn)位置，進(jìn)而可以預(yù)測(cè)行人在圖像中的位置。實(shí)驗(yàn)中，輸入圖像由于下采樣操作，行人的中心點(diǎn)會(huì)變得不精確，為了減少中心點(diǎn)的模糊對(duì)網(wǎng)絡(luò)訓(xùn)練造成困難，以行人中心點(diǎn)為中心，生成一個(gè)2維的高斯熱圖Mij，如圖2所示，其表達(dá)式為：

圖2 行人高斯熱圖

(3)

(4)

其中，K表示一張圖像中行人的數(shù)量，(i,j)表示高斯熱圖的位置，(xk,yk,wk,hk)表示第k個(gè)目標(biāo)的中心點(diǎn)坐標(biāo)和寬高，(σw,σh)表示寬和高的協(xié)方差。從公式可以看出與目標(biāo)中心點(diǎn)的距離越近，數(shù)值越大，當(dāng)兩個(gè)高斯熱圖重疊時(shí)取兩者的最大值。

為了克服行人中心點(diǎn)的預(yù)測(cè)結(jié)果與實(shí)際中心點(diǎn)偏移問(wèn)題，實(shí)驗(yàn)中，在檢測(cè)頭部分增加中心點(diǎn)偏移預(yù)測(cè)分支，通過(guò)最小化行人預(yù)測(cè)中心點(diǎn)與實(shí)際中心點(diǎn)兩者誤差損失，提高算法檢測(cè)精度。行人中心點(diǎn)實(shí)際位置與標(biāo)注的位置的偏移可以定義為：

(5)

其中，r為下采樣比率。

2.3 損失函數(shù)

文中算法總的損失函數(shù)包含三部分：行人中心點(diǎn)損失Lcenter、行人尺度損失Lscale、行人中心點(diǎn)偏移損失Loffset。由于輸入圖像中行人中心點(diǎn)相對(duì)于非行人中心點(diǎn)較少，從而造成正負(fù)樣本不均衡，不利于網(wǎng)絡(luò)模型的訓(xùn)練。為解決這一問(wèn)題，Lin T等人[20]提出了Focal Loss方法來(lái)解決正負(fù)樣本不平衡問(wèn)題。為此，中心點(diǎn)分類(lèi)損失函數(shù)定義為：

(6)

(7)

(8)

其中，K表示一張圖像中行人的數(shù)量，W、H分別表示圖像的寬高，pij∈[0,1]表示預(yù)測(cè)坐標(biāo)點(diǎn)(i,j)屬于行人中心點(diǎn)的概率，β,γ是兩個(gè)超參數(shù)，實(shí)驗(yàn)中分別設(shè)置為β=4[6]、γ=2[20]，Mij表示(i,j)坐標(biāo)點(diǎn)的高斯熱圖。

使用L1損失函數(shù)計(jì)算行人尺度損失，其公式為：

(9)

其中，pk,tk分別表示第k個(gè)目標(biāo)的預(yù)測(cè)值與真實(shí)值。

使用SmoothL1損失函數(shù)計(jì)算偏移損失，其公式為：

(10)

其中，pk,tk分別表示第k個(gè)目標(biāo)的預(yù)測(cè)值與真實(shí)值。

綜上所述，總的損失函數(shù)L定義為：

L=λcLcenter+λsLscale+λoLoffset

(11)

其中，λc、λs、λo分別表示中心點(diǎn)損失、尺度損失和偏移損失的權(quán)重，實(shí)驗(yàn)中分別取值為0.01、0.05、0.1。

2.4 DIoU-NMS

標(biāo)準(zhǔn)NMS只考慮兩個(gè)檢測(cè)框的IoU，而忽略了兩個(gè)檢測(cè)框的相對(duì)位置，當(dāng)兩個(gè)檢測(cè)框的IoU相同時(shí)，兩個(gè)檢測(cè)框可能檢測(cè)的是同一個(gè)行人，也可能是不同的行人。這種情況下，為進(jìn)一步提升算法的檢測(cè)性能，該文采用DIoU-NMS對(duì)檢測(cè)結(jié)果進(jìn)行后處理。DIoU-NMS綜合考慮了兩個(gè)檢測(cè)框中心點(diǎn)的歐氏距離(d)與同時(shí)包含兩個(gè)檢測(cè)框的最小框的對(duì)角線距離(c)，如圖3所示。

圖3 DIoU建模

兩個(gè)檢測(cè)框的中心點(diǎn)歐氏距離的平方與同時(shí)包含兩個(gè)檢測(cè)框的最小框?qū)蔷€距離平方的比值RDIoU為：

(12)

其中，b1,b2分別表示兩個(gè)行人檢測(cè)框，c表示同時(shí)包含兩個(gè)行人檢測(cè)框的最小框?qū)蔷€距離，ρ(·)表示歐氏距離，兩個(gè)檢測(cè)框中心點(diǎn)的歐氏距離d2即為ρ2(b1,b2)。

行人檢測(cè)框得分si的計(jì)算公式為：

(13)

其中，M表示當(dāng)前取出得分最高的預(yù)測(cè)框，Bi表示與M相交的第i個(gè)預(yù)測(cè)框，ε表示設(shè)定的閾值。

從公式(12)與公式(13)可以看出，當(dāng)d2與c2的比值較小時(shí)，兩個(gè)預(yù)測(cè)框檢測(cè)的是同一個(gè)行人的可能性比較大，此時(shí)兩個(gè)預(yù)測(cè)框調(diào)整后的IoU依然較大，當(dāng)調(diào)整后的IoU大于設(shè)定的閾值ε時(shí)，檢測(cè)框得分設(shè)置為0，從而抑制重復(fù)預(yù)測(cè)框。當(dāng)d2與c2的比值較大時(shí)，兩個(gè)預(yù)測(cè)框預(yù)測(cè)的是不同行人的可能性比較大，此時(shí)兩個(gè)預(yù)測(cè)框調(diào)整后的IoU小于設(shè)定的閾值ε，檢測(cè)框的得分保持不變，從而保留更多有效預(yù)測(cè)結(jié)果。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與訓(xùn)練設(shè)置

為對(duì)文中提出的算法進(jìn)行有效評(píng)估，訓(xùn)練和驗(yàn)證均在Cityperson數(shù)據(jù)集上進(jìn)行。Cityperson數(shù)據(jù)集是在Cityscapes數(shù)據(jù)集的基礎(chǔ)上建立起來(lái)的，它包含了18個(gè)不同城市、多種氣候環(huán)境下的行人數(shù)據(jù)。數(shù)據(jù)集包含19 238個(gè)行人，平均每張圖片上有6.47個(gè)行人，行人姿態(tài)多樣、密度較高、背景環(huán)境復(fù)雜。Cityperson數(shù)據(jù)集可分為訓(xùn)練集、驗(yàn)證集，其中訓(xùn)練集2 975張圖片，驗(yàn)證集500張圖片。數(shù)據(jù)集中行人真實(shí)位置標(biāo)注框的寬高比為0.41。文中實(shí)驗(yàn)均在kaggle平臺(tái)上進(jìn)行，實(shí)驗(yàn)環(huán)境為T(mén)esla P100 16 GB的GPU。由于數(shù)據(jù)集中圖片尺寸為1 024×1 024像素的高清圖片，考慮到實(shí)驗(yàn)設(shè)備GPU內(nèi)存限制，實(shí)驗(yàn)中將圖片尺寸調(diào)整為640×1 280像素進(jìn)行訓(xùn)練，Batch size設(shè)置為2。驗(yàn)證模型時(shí)，行人寬高比r設(shè)置為0.40。為有效評(píng)估算法性能，實(shí)驗(yàn)中把在驗(yàn)證集上的測(cè)試結(jié)果分為兩個(gè)指標(biāo)，即嚴(yán)重遮擋(Heavy)和無(wú)遮擋(Bare)，分別得到對(duì)應(yīng)指標(biāo)的漏檢率(%)。

3.2 FPN特征融合結(jié)合多尺度特征預(yù)測(cè)

輸入圖像隨著網(wǎng)絡(luò)逐層的卷積、池化、激活等操作，淺層特征層包含了較多位置相關(guān)的特征信息，但缺乏語(yǔ)義特征信息。而深層特征包含了較多語(yǔ)義特征信息，但隨著逐層的池化、下采樣操作丟失了目標(biāo)的精確位置特征信息。為此，采用FPN特征融合模型，把淺層特征與深層特征結(jié)合起來(lái)，使用于檢測(cè)的特征層既具有豐富的位置特征信息又具有豐富的語(yǔ)義特征信息。

實(shí)際場(chǎng)景中行人的尺度是多樣的，為了對(duì)不同的行人尺度有更好的預(yù)測(cè)效果，文中采用多尺度預(yù)測(cè)方法，并探究不同尺度組合下的預(yù)測(cè)效果。實(shí)驗(yàn)中Φ2檢測(cè)特征層的高斯熱圖為原圖像的1/16，Φ3、Φ4檢測(cè)特征層的高斯熱圖為原圖像的1/64。

從表1可以看出，Φ3、Φ4兩個(gè)檢測(cè)層組合時(shí)，在Bare情況下行人預(yù)測(cè)效果最佳。Φ2、Φ3、Φ4三個(gè)檢測(cè)層組合時(shí)，在Heavy情況下行人預(yù)測(cè)效果最佳。由于多尺度預(yù)測(cè)會(huì)對(duì)同一個(gè)行人產(chǎn)生多次預(yù)測(cè)，因此最終的預(yù)測(cè)結(jié)果中存在較多的重復(fù)預(yù)測(cè)，所以需要對(duì)預(yù)測(cè)結(jié)果進(jìn)行后處理，以去除同一個(gè)行人的重復(fù)預(yù)測(cè)結(jié)果。圖4為Φ3、Φ4兩個(gè)預(yù)測(cè)層組合時(shí)的預(yù)測(cè)結(jié)果。

表1 不同特征層結(jié)合檢測(cè)對(duì)比 %

圖4 Φ3、Φ4特征層組合預(yù)測(cè)結(jié)果

3.3 預(yù)測(cè)結(jié)果后處理算法

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)逐層提取圖像中行人的特征，進(jìn)而預(yù)測(cè)行人的中心點(diǎn)和身高，最終的預(yù)測(cè)結(jié)果再回歸到原圖像中，確定行人在原圖像中的真實(shí)位置。由于預(yù)測(cè)的結(jié)果中存在重復(fù)預(yù)測(cè)，所以需對(duì)預(yù)測(cè)結(jié)果進(jìn)行非極大值處理，去除重復(fù)預(yù)測(cè)是算法中不可缺少的一個(gè)重要組成部分。標(biāo)準(zhǔn)的NMS只考慮了兩個(gè)預(yù)測(cè)框的相交面積與相并面積之間的關(guān)系，而忽略了兩個(gè)預(yù)測(cè)框中心點(diǎn)的歐氏距離。DIoU-NMS綜合考慮兩個(gè)預(yù)測(cè)框的中心點(diǎn)歐氏距離與同時(shí)包含兩個(gè)檢測(cè)框的最小矩形對(duì)角線距離，對(duì)標(biāo)準(zhǔn)NMS進(jìn)行了優(yōu)化。為證明文中算法的有效性，采用同等實(shí)驗(yàn)條件下對(duì)CSP論文中的行人檢測(cè)算法進(jìn)行復(fù)現(xiàn)，與文中改進(jìn)后的行人檢測(cè)算法進(jìn)行對(duì)比，結(jié)果證明文中提出的算法在各種遮擋情況下，行人漏檢率均有所降低。實(shí)驗(yàn)結(jié)果如表2所示。

表2 同等實(shí)驗(yàn)條件下文中算法與CSP算法對(duì)比，DIoU-NMS與NMS實(shí)驗(yàn)對(duì)比 %

從表2可以看出，第一，同時(shí)使用標(biāo)準(zhǔn)NMS后處理方法，文中算法在Bare和Heavy兩個(gè)評(píng)價(jià)指標(biāo)上均比CSP的漏檢率低；第二，使用DIoU-NMS后處理方法相比于標(biāo)準(zhǔn)NMS的后處理方法，在Bare和Heavy兩個(gè)評(píng)價(jià)指標(biāo)上的漏檢率進(jìn)一步降低。標(biāo)準(zhǔn)NMS閾值設(shè)置固定，而且盲目，在擁擠情況下會(huì)抑制掉部分有效的預(yù)測(cè)框。而DIoU-NMS在實(shí)際處理過(guò)程中會(huì)動(dòng)態(tài)地調(diào)整預(yù)測(cè)框的IoU，從而可以減少錯(cuò)誤抑制有效的檢測(cè)框。圖5為采用標(biāo)準(zhǔn)NMS處理結(jié)果，圖6為采用DIoU-NMS處理結(jié)果，從兩者的處理結(jié)果可以看出，前者會(huì)抑制掉部分有效預(yù)測(cè)結(jié)果，出現(xiàn)漏檢現(xiàn)象，而后者保留了更多有效預(yù)測(cè)結(jié)果。

圖5 標(biāo)準(zhǔn)NMS抑制效果

圖6 DIoU-NMS抑制效果

3.4 閾值對(duì)嚴(yán)重遮擋和無(wú)遮擋的影響

多尺度行人預(yù)測(cè)會(huì)對(duì)同一個(gè)行人產(chǎn)生重復(fù)預(yù)測(cè)，擁擠情形下行人之間的相互遮擋比較嚴(yán)重，而且產(chǎn)生的預(yù)測(cè)框較多，框與框之間的IoU數(shù)值大。從圖7可以看出，在一定范圍內(nèi)隨著DIoU-NMS閾值的增大，嚴(yán)重遮擋(Heavy)的漏檢率先降低較快，后面保持平穩(wěn)。對(duì)于無(wú)遮擋(Bare)來(lái)說(shuō)，開(kāi)始隨著閾值的增大，漏檢率逐漸降低，當(dāng)閾值超過(guò)0.52之后，隨著閾值的增加，漏檢率不再降低，出現(xiàn)上下波動(dòng)。因?yàn)樵跓o(wú)遮擋情況下行人密度小，閾值設(shè)置較大時(shí)將保留更多的重復(fù)檢測(cè)。

圖7 Heavy與Bare情況下漏檢率隨

3.5 行人檢測(cè)算法對(duì)比

文中提出的行人檢測(cè)算法以行人中心點(diǎn)和身高作為高級(jí)語(yǔ)義特征信息，采用FPN特征融合策略，結(jié)合多尺度預(yù)測(cè)方法對(duì)不同尺度的行人進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果采用DIoU-NMS后處理方法抑制掉重復(fù)預(yù)測(cè)框，提高檢測(cè)效果。與其他行人檢測(cè)算法對(duì)比如表3所示。

從表3可以看出，文中提出的行人檢測(cè)算法在Heavy和Bare情況下，漏檢率較CSP算法均有所降低，在行人嚴(yán)重遮擋(Heavy)情況下的檢測(cè)效果較好，無(wú)遮擋(Bare)情況下漏檢率與其他行人檢測(cè)算法相比有所降低。因?yàn)樵瓐D像在逐層卷積、池化過(guò)程中，擁擠場(chǎng)景下的行人位置信息丟失較多，采用FPN特征融合策略，將包含較多位置信息的淺層特征與包含較多語(yǔ)義信息的深層特征融合，使預(yù)測(cè)特征層具有更多的行人特征信息，再結(jié)合多尺度預(yù)測(cè)方法，在擁擠場(chǎng)景下取得了較好效果。

表3 行人檢測(cè)算法對(duì)比 %

4 結(jié)束語(yǔ)

實(shí)際場(chǎng)景中由于行人之間的相互遮擋，給行人檢測(cè)帶來(lái)了困難，檢測(cè)時(shí)常常會(huì)出現(xiàn)誤檢和漏檢的問(wèn)題。為解決這一問(wèn)題，該文基于CSP改進(jìn)的擁擠情況下的行人檢測(cè)算法，利用ResNet-50作為主干網(wǎng)絡(luò)提取圖像特征，采用FPN特征融合策略進(jìn)行特征融合，結(jié)合多尺度預(yù)測(cè)方法對(duì)不同尺度的行人進(jìn)行預(yù)測(cè)，對(duì)預(yù)測(cè)結(jié)果采用非極大值抑制處理，在Cityperson數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證。預(yù)測(cè)結(jié)果后處理過(guò)程中采用DIoU-NMS算法相比較于標(biāo)準(zhǔn)NMS算法，能夠根據(jù)兩個(gè)行人預(yù)測(cè)框的中心點(diǎn)距離，動(dòng)態(tài)調(diào)整交并比，保留更多不同行人的有效預(yù)測(cè)框。同等實(shí)驗(yàn)條件下，該算法在擁擠場(chǎng)景下和無(wú)遮擋場(chǎng)景下行人漏檢率均有所降低。同時(shí)對(duì)不同的DIoU-NMS閾值，對(duì)嚴(yán)重遮擋和無(wú)遮擋的檢測(cè)效果進(jìn)行了研究，實(shí)驗(yàn)表明隨著閾值的增大，嚴(yán)重遮擋和無(wú)遮擋情況下的漏檢率均有所降低，當(dāng)閾值大于0.52時(shí)無(wú)遮擋的漏檢率出現(xiàn)輕微波動(dòng)，而嚴(yán)重遮擋保持平穩(wěn)。實(shí)驗(yàn)中發(fā)現(xiàn)該算法會(huì)對(duì)部分非行人錯(cuò)誤地預(yù)測(cè)為行人，以及遠(yuǎn)處遮擋的行人會(huì)出現(xiàn)漏檢現(xiàn)象，產(chǎn)生這些現(xiàn)象的原因是由于網(wǎng)絡(luò)提取的行人特征不夠充分。因此，下一步工作將探索更深層的網(wǎng)絡(luò)結(jié)構(gòu)用于提取更多行人特征，來(lái)提高行人檢測(cè)效果，降低漏檢率和誤檢率。