梁橋康，湯 鵬，晏昕童，孫 煒

（湖南大學(xué)電氣與信息工程學(xué)院，長沙 410082；電子制造業(yè)智能機器人技術(shù)湖南省重點實驗室，長沙 410082；機器人視覺感知與控制技術(shù)國家工程實驗室，長沙 410082）

1 引 言

行人檢測作為目標檢測重要的分支。在無人駕駛、智慧城市和天眼偵測系統(tǒng)等領(lǐng)域中應(yīng)用廣泛［1］。近年來，基于行人檢測的改進主要集中在檢測器本身的候選框生成和分類能力上，主要是通過探尋有效特征［2-3］、增加特征維度［4-6］或設(shè)計更強的特征提取器或分類器［7-10］等，而檢測結(jié)果的后處理方面鮮有改進。行人檢測方法多是基于滑動窗口機制［7-11］，結(jié)合多尺度和小步長的滑動窗口能夠有效地減少漏檢數(shù)，但是也帶來了一個難題：目標周圍會產(chǎn)生大量覆蓋目標整體或部分的彼此鄰近窗口，分類器有很大可能將這些窗口分類為包含目標，從而導(dǎo)致對目標重復(fù)檢測，造成大量誤檢［12］。

針對這個難題，人們提出的后處理方法一般是基于窗口融合與窗口抑制兩個機制。窗口融合主要依賴Viola等針對人臉檢測提出的VJ（Viola-Jones） Framework［11］的后處理步驟中采取的啟發(fā)式窗口融合算法，雖然大大減少了誤檢的數(shù)量，但是與檢測人臉不同，在檢測行人時極易出現(xiàn)重合窗口的現(xiàn)象。若是按照此算法做后處理，將檢測器生成的重疊初始框劃分到同一個子集中，再依據(jù)此規(guī)則將所有的檢測結(jié)果劃分到不相交的子集中，分別計算子集的中心，最后每個子集只保留一個檢測窗口，顯然會造成大量漏檢。

以非極大值抑制為基礎(chǔ)的窗口抑制機制因為其簡單高效成為當(dāng)今通用的目標檢測后處理算法，主要有基于Mean-Shift算法和基于貪心策略的非極大值抑制兩類。文獻［10］將非極大值抑制（Non-Maximum Suppression，NMS）闡述為局部最大值搜索（Local Maximum Search，LMS），其工作原理為通過獲得一定區(qū)域內(nèi)的極大值然后抑制其他的局部非極大值。文獻［2］中提出的基于Mean-Shift聚類算法的非極大值抑制，雖然可以提高精度方面的性能，但是不僅計算復(fù)雜，時間消耗大，而且在運用過程中需要設(shè)置的參數(shù)過多，如滑動窗口的步長等，因此目前較少使用。基于貪婪策略的非極大值抑制由于簡單高效的性能，成為目前主流的目標檢測后處理方法。Felzenszwalb等在可變形部位模型（Deformable Part Models，DPM）［12］算法中較為詳細地闡述了基于貪婪策略非極大值抑制的過程：對于檢測出來的結(jié)果集合D，其中每一個結(jié)果都是由窗口邊界框的位置信息和所得分數(shù)構(gòu)成的；按照分數(shù)排序，選中分數(shù)最大的檢測結(jié)果作為抑制窗口進行保留，其他窗口作為被抑制窗口，依次計算抑制窗口對被抑制候選窗口的覆蓋比例，丟棄覆蓋率超過設(shè)定閾值的被抑制窗口；再更新檢測結(jié)果集合D并重新排序，重復(fù)上述步驟，直到被抑制候選窗口個數(shù)為0時結(jié)束。而文獻［13］基于ACF目標檢測算法提出的尺度比變量策略，對抑制大尺度行人窗口周圍的誤檢窗口效果很好，但同時也抑制了部分小尺度行人窗口，限制了其提升性能的可能性。且其提出的重復(fù)抑制策略，僅僅使誤檢率（Miss Rate，MR）降低了0.13%，卻要執(zhí)行兩次非極大值抑制，增加了過多的時耗。文獻［14］提出的基于熱擴散理論窗口融合抑制方法，在PASCAL VOC數(shù)據(jù)集上提升的精度只有0.6%。文獻［15］提出增加“抑制完全覆蓋檢測”和“PASCAL VOC重疊判據(jù)”作為約束條件，提出了一種改變約束條件的簡化非極大值抑制。文獻［16］提出的SOFT-NMS方法雖然在COCO和PASCAL VOC數(shù)據(jù)集上得到性能提升，但是其對于重合窗口密集的行人檢測，效果并不是很理想。

以上研究對于消除誤檢窗口不充分，特別是對無重合面積誤檢窗口不能抑制和過度抑制正確窗口的問題，提出了高分保留尺度比變量和區(qū)域擴散抑制策略來加強非極大值抑制效果。且對于非極大值抑制無法抑制的高分誤檢窗口，本文提出了動態(tài)窗口修正機制對誤檢窗口進行修正。結(jié)合改進之后的非極大值抑制和動態(tài)窗口修正機制，能夠在快速性和誤檢率性能上取得理想效果。

2 后處理算法改進一般化討論

本節(jié)主要描述了以非極大值抑制為主的后處理工作原理及其改進的可能性，實驗選擇目標檢測算法ACF（Aggregate Channel Features）［4］在INRIA行人檢測數(shù)據(jù)集上進行驗證，分析當(dāng)前目標檢測后處理方法的不足。

2.1 非極大值抑制

目標檢測后處理方法旨在消除初始檢測結(jié)果中的誤檢窗口，非極大值抑制算法因?qū)Υ祟惾哂啻翱谝种菩Ч?，如圖1所示，且時間成本低，成為目前目標檢測方面的主要后處理算法。

圖1 有無NMS效果對比Fig.1 Comparison of effects with and without NMS

非極大值抑制主要是通過尋找局部極大值和設(shè)定約束條件來抑制極大值周圍不符合約束條件的非極大值，從而達到消除誤檢的效果。其主要步驟如下：

（1）將檢測窗口集合按照分數(shù)降序排列。

（2）保留分數(shù)最高的窗口，并將它選為抑制窗口，剩余窗口作為候選窗口。

（3）根據(jù)約束條件抑制候選窗口，約束條件一般為PASCAL VOC判據(jù)，即抑制窗口與候選窗口面積的交集與兩者面積的并集大于設(shè)定閾值Thresh的時候，候選窗口被抑制，小于則保留。

（4）判斷保留下來的候選窗口個數(shù)是否為0，是0則結(jié)束非極大值抑制，不是0則按照步驟（2）中排好的順序，取下一個保留下來的候選窗口作為抑制窗口，重復(fù)步驟（3）。

值得一提的是，在ACF算法中，Dollar［4］在步驟（3）采取的約束條件是候選窗口的被覆蓋率是否大于0.5，即在PASCAL VOC判據(jù)的基礎(chǔ)上，將條件兩者面積的并集改為二者間的最小面積即可。

2.2 不足及其改進的可能性

在行人檢測中，以非極大值抑制作為后處理方法非常簡潔高效，但是也存在著明顯的不足。文獻［17］通過設(shè)計實驗，讓人來代替非極大值抑制算法對初始檢測窗進行后處理，可以提升算法在INRIA數(shù)據(jù)集上的0.1的平均準確率。在文獻［13］設(shè)計的實驗中，通過在INRIA數(shù)據(jù)集上測試，ACF的誤檢數(shù)高達328個，取消ACF的后處理算法之后，行人的漏檢數(shù)從46個降到了28個，充分說明了ACF的后處理算法仍有較大的提升空間。

3 后處理算法的改進

本節(jié)主要描述后處理算法的改進，其算法總體框架如圖2所示。主要包括針對傳統(tǒng)非極大值抑制不足改進而來的高分尺度比NMS和區(qū)域擴散抑制，以及獨立于窗口抑制機制之外的窗口修正機制。

3.1 非極大值抑制方法改進

3.1.1 高分保留尺度比變量

針對傳統(tǒng)非極大值抑制對于大尺度行人窗口周圍的重合比未達到閾值的誤檢窗口效果不好的問題，如圖3（a），文獻［13］提出的尺度比變量，通過利用正確行人窗口之間分數(shù)接近和正確行人窗口與周圍誤檢窗口尺度與分數(shù)差異較大的關(guān)系，進行動態(tài)閾值NMS，對行人周圍誤檢窗口通過降低閾值進行了更加嚴格的抑制，相比于傳統(tǒng)非極大值抑制取得了不錯的效果。見圖3（a）與圖3（b）結(jié)果對比。但其在抑制周圍誤檢窗口的同時，也會將部分高分小尺度行人窗口給抑制掉，見圖3（b）與圖3（d）結(jié)果對比。究其原因是文獻［13］提出大小尺度行人窗口的分數(shù)差異不會過大，這一假設(shè)是錯誤的。故本文針對尺度比變量方法這一缺陷，提出高分保留尺度比變量。既能利用正確行人窗口與其周圍誤檢窗口的尺度比與分數(shù)比信息對誤檢窗口進行抑制，也能同時保留小尺度行人窗口。

圖2 后處理算法總體框架圖Fig.2 Post processing frame chart

利用高分保留尺度比變量進行動態(tài)閾值NMS的原理就是在2.1節(jié)中步驟（2）與步驟（3）之間加了一個確定設(shè)定閾值的步驟，其他還是按照非極大值步驟操作，確定動態(tài)閾值的步驟如下：

（1）設(shè)α為分數(shù)比閾值，此處設(shè)定0.7；λ為面積比閾值，此處設(shè)為0.7，α和λ的設(shè)定值是通過參考文獻［13］中分數(shù)比和高度比參數(shù)范圍用兩分法試探而得。β為高分保留閾值，此處設(shè)定30，是在［0，100］進行兩分法試探而得。抑制窗口為WK的檢測分數(shù)為SK、面積為Area（WK），未被抑制候選窗口WD的檢測分數(shù)為SD、面積為Area（WD）、設(shè)定閾值為Thresh與2.1節(jié)中步驟（3）中設(shè)定閾值Thresh等價，0.575為設(shè)定閾值常值。

（4）若不滿足上述條件，則Thresh為設(shè)定閾值常值。

圖3 引入高分保留策略后的尺度比變量NMS對比圖Fig.3 Comparison of scale ratio NMS with high score keep strategy

3.1.2 區(qū)域擴散策略

上文提及過行人檢測方法大多是基于滑動窗口機制，而滑動窗口類檢測因其暴力窮舉式的窗口定位方式，會在行人周圍出現(xiàn)大量誤檢窗口。其中就包括與行人周圍無重合面積的誤檢窗口，如圖4所示。而傳統(tǒng)非極大值抑制及其改進方法，主要是利用抑制窗口和被抑制窗口之間的重合信息進行抑制，故對于此類無重合面積的誤檢窗口的效果并不算好。本文通過對大量數(shù)據(jù)的觀察和歸納，發(fā)現(xiàn)此類誤檢窗口具有幾點特性：只在大尺度行人窗口的周圍出現(xiàn)，此處大尺度行人窗口特指面積大于25000個像素點的窗口；出現(xiàn)在大尺度行人窗口的下方且其中心點位置與大尺度行人窗口的左右邊框距離與行人窗口高度呈正比關(guān)系。

鑒于此，本文提出動態(tài)區(qū)域擴散策略來抑制此類無重合面積窗口。動態(tài)區(qū)域擴散策略處理過程如圖5所示，圖5中（a）（b）（c）（d）分別對應(yīng)下述步驟（1）（2）（3）（4）。

圖4 誤檢示例Fig.4 False positive examples

圖5 區(qū)域擴散抑制處理過程Fig.5 Regional Diffusion Suppression Process

（1）對窗口進行篩選，設(shè)窗口為WT，其面積設(shè)為Area（WT），高度設(shè)為Height，寬度設(shè)為Width。當(dāng)Area（WT）＞Thresh時，該窗口激活區(qū)域擴散抑制。當(dāng)Area（WT）≤Thresh時，則不激活區(qū)域擴散抑制。

（2）選中激活區(qū)域擴散機制的窗口，其下半部分設(shè)為原始區(qū)域WO，左上角坐標設(shè)為（XOL，YOL）、右下角左邊設(shè)為（XOR，YOR）。

（3）進行動態(tài)區(qū)域擴散，設(shè)f1為橫向擴散因子，此處設(shè)為0.7，f2為縱向擴散因子，此處設(shè)為0.4。通過式（2）～（5）計算得到擴散區(qū)域，設(shè)為WE。其左上角坐標設(shè)為（XEL，YEL）、右下角左邊設(shè)為（XER，YER），round為取整函數(shù)，因式（2）～（5）中的單位均為像素點只能為整數(shù)，故對其進行取整。

由區(qū)域擴散抑制步驟可知，區(qū)域擴散是其中最為重要的步驟，區(qū)域擴散過大容易抑制正確窗口，過小則消除誤檢不充分。f1，f2的取值控制著區(qū)域擴散的尺度，可觀察圖6，圖6中曲線圖均是在執(zhí)行完高分保留尺度比NMS后，分析區(qū)域擴散抑制策略中參數(shù)f1，f2對MR影響。圖5（a）為f1的取值對MR的影響，此時f2取常值0.4，可見在f1屬于0.4～0.75區(qū)間內(nèi)進行橫向擴散時，MR緩慢下降，此處如圖5所示，可將正確窗口周圍的誤檢窗口抑制。但是在f1=0.8之后誤檢個數(shù)明顯增加，因為在擴散區(qū)域面積過大的時候，它所需要抑制的區(qū)域?qū)⒉辉傧抻谡_窗口周圍的窗口，而是可能將較小尺度行人（如小孩或身高差異較大的正確行人）窗口抑制，造成過度抑制，進而形成大量漏檢。圖6（b）為f2的取值對MR的影響，此時f1取定值0.7，可見隨f2增加MR逐漸降低，在f2=0.3時不再下降，取得最優(yōu)結(jié)果。從整體趨勢可以看出，縱向擴散雖然能使MR下降，但對MR的影響不大。

圖6 參數(shù) f1，f2 對MR的影響Fig.6 Effect of parameters of f1 and f2 on MR

3.2 窗口修正機制

進行完高分保留尺度比變量NMS和區(qū)域擴散抑制之后，大部分行人周圍的誤檢窗口已經(jīng)被抑制。但本文在實驗過程發(fā)現(xiàn)，上述兩種改進對高分誤檢窗口均效果不佳，如圖7所示。究其原因，根據(jù)2.1節(jié)中步驟（2）可知，只要是基于非極大值抑制機制的算法的第一步就是將高分窗口保留，故最先保留的就是此類高分誤檢窗口。

圖7 檢測結(jié)果示例Fig.7 Examples of detecting results

由圖7中可知，盡管檢測結(jié)果WG（綠色框）能夠準確定位標簽結(jié)果WR（紅色框）的中心位置，但是由于探測子的分類能力不足，會將行人周圍左右背景分類為行人，導(dǎo)致檢測結(jié)果WG的寬度過大，進而導(dǎo)致WG的面積Area（green）會遠遠大于標簽結(jié)果WR面積Area（red）。則根據(jù)PASCAL VOC準則，如式（7），WG被視為誤檢窗口?，F(xiàn)在針對此類問題的解決方法多是通過改進探測子本身特征提取和分類性能，如基于深度學(xué)習(xí)的一系列目標檢測網(wǎng)絡(luò)（如YOLO，SSD，F(xiàn)ASTER-RCNN等），但是基于卷積神經(jīng)網(wǎng)絡(luò)所提出的目標檢測算法其精度是建立在犧牲時間的基礎(chǔ)上，在CPU上運算現(xiàn)在最快的SSD-MOBILENET都只有5幀/s，實用性并不高。故本文提出窗口修正機制在不增加過多時間成本的基礎(chǔ)上能夠有效的解決該問題。

由MASK-RCNN［18］中使用語義分割結(jié)果與目標檢測結(jié)果進行對齊來提升精度的思想而發(fā)，結(jié)合本文對此類誤檢窗口總結(jié)出來的特性：能夠較為準確的提供正確窗口的中心位置信息，但左右邊框偏離程度過大而導(dǎo)致其與標簽結(jié)果的交并比（Intersection of Union，IOU）過小形成誤檢。本文提出的窗口修正機制主要通過對窗口左右邊框的橫坐標進行動態(tài)修正，使窗口向其中心位置收縮來降低左右邊框的偏離程度，使其與正確行人窗口盡量對齊，增大與標簽結(jié)果的IOU，進而成為正確窗口，能夠同時減少誤檢數(shù)和漏檢數(shù)。具體步驟為：

（1）對每個窗口進行篩選，設(shè)檢測結(jié)果窗口WA的寬度為Wx，左上角坐標為（x1，y1），右下角坐標為（x2，y2）。若Wx≥100時，激活窗口修正機制。Wx＜100時，則不激活，跳過步驟（2），（3）保留檢測結(jié)果窗口WA。

（2）激活窗口修正機制的窗口，通過式（8）～（9）對檢測結(jié)果窗口的橫坐標進行修正。縱坐標則按y1new=y1，y2new=y2保持不變，得到修正后的窗口WB，左上角坐標為（x1new，y1new），右下角坐標（x2new，y2new）。

（3）保留修正后窗口WB，去掉檢測結(jié)果窗口WA。

所得到結(jié)果如圖8所示，紅色邊框包圍區(qū)域為標簽結(jié)果，綠色邊框包圍區(qū)域為未采用窗口修正機制的檢測結(jié)果，黃色邊框為采用了窗口修正機制的檢測結(jié)果。由圖8可知，之前與標簽結(jié)果IOU＜0.5而被視為誤檢的檢測結(jié)果經(jīng)過修正之后，與標簽結(jié)果之間的IOU顯然大于0.5，成為正確檢測窗口。

圖8 窗口修正前后對比Fig.8 Comparison of with and without window correction

由窗口修正步驟可知，修正度量是最為關(guān)鍵的因素，修正度量過大容易造成窗口修正過度造成誤檢，過小則不能充分發(fā)揮其效果。而其中A，B是決定修正度量的參數(shù)，對此本文通過等距取點試探法和待定系數(shù)法來取A，B的值。圖9中曲線為進行過高分保留尺度比變量和區(qū)域擴散抑制之后，分析窗口修正機制中參數(shù)A，B對MR影響曲線圖。圖9（a）為A取值變化對MR的影響曲線圖，此時B=5。由表1可知，執(zhí)行過高分保留尺度比變量和區(qū)域擴散抑制之后所得到的MR應(yīng)為14.93%?？僧?dāng)A＜5時，MR上升到了15.98%，這是由于當(dāng)A過小時，修正度量容易變得過大，導(dǎo)致對檢測結(jié)果的左右邊框修正過度，造成誤檢。當(dāng)A＞5時，MR的值均小于14.93%，說明窗口修正機制在大范圍中取值均能取得效果，魯棒性強。而在A=10時，窗口修正機制的效果最好，取得MR的極小值13.46%。圖9（b）為B取值對MR影響曲線圖，此時A=10，可知當(dāng)B＜5時，MR持續(xù)下降，而當(dāng)B＞5時，則會逐漸出現(xiàn)窗口修正過度的現(xiàn)象，MR逐漸上升，B＞7時，MR已經(jīng)超過了14.93%，窗口修正機制顯現(xiàn)出負效果。

圖9 參數(shù)A，B對MR的影響Fig.9 Effect of parameters of A and B on MR

4 實驗結(jié)果分析

本文在INRIA測試集上對比了ACF的后處理算法，文獻［13］中尺度比變量的后處理算法和本文所提出的后處理算法。主要采用MR對負樣本錯誤正例（False Positive Per Image，F(xiàn)PPI）的曲線［11］來說明采用不同后處理方法對目標檢測算法的性能改進。如圖10所示，縱軸為漏檢率，橫軸為FPPI，通過檢測器可以得到每個窗口所得分數(shù)，然后通過設(shè)定不同分數(shù)閾值可以得到相對應(yīng)的誤檢數(shù)和漏檢率來繪制曲線。為了方便說明，本文規(guī)定：ACF為原算法的結(jié)果，ACF+SCA為出尺度比變量的結(jié)果，ACF+（1）為加入高分保留尺度比變量策略，ACF+（2）為加入?yún)^(qū)域擴散抑制策略，ACF+（1）+（2）為結(jié)合高分保留尺度比變量與區(qū)域擴散抑制策略，ACF+（1）+（2）+（3）為結(jié)合高分尺度比變量、區(qū)域擴散抑制和窗口修正機制策略。表1中ACF算法是作為評估結(jié)果基準線，故無MR的減少值。

表1 不同后處理方法結(jié)果比較Table.1 Comparison results of different post-preprocessing methods

圖10 INRIA數(shù)據(jù)集的檢測結(jié)果對比圖Fig.10 Performance comparison in the INRIA dataset

由表1可知，ACF+（1）可以將MR降低1.59%，誤檢數(shù)減少72個，漏檢數(shù)保持不變；而ACF+SCA，能使MR降低0.99%，誤檢數(shù)減少68個，漏檢數(shù)增加5個。對比兩者可知，ACF+（1）方法相對于ACF+SCA可以多減少5個誤檢窗口，這是由于ACF+（1）采用的面積比比ACF+SCA中的高度比更能表征兩者之間的尺度比。而相比于ACF+SCA，ACF+（1）會增加5個漏檢數(shù)，可以在多減少誤檢窗口的同時，保持漏檢窗口數(shù)不變，效果更優(yōu)。

ACF+（2）可以使MR降低1.27%，誤檢數(shù)減少45個，漏檢數(shù)不變。當(dāng)我們單獨使用ACF+（1），ACF+（2），性能均能得到提高。但是我們結(jié)合使用兩者時，即ACF+（1）+（2），MR只降低1.98%，誤檢數(shù)減少了88個，漏檢數(shù)不變，并沒有產(chǎn)生1+1＞2的效果。這是因為雖然區(qū)域擴散抑制的提出是為了抑制正確行人窗口周圍與行人窗口無重合面積的誤檢窗口，但它與高分保留尺度比變量都會抑制正確行人窗口下方與行人窗口有重合面積的誤檢窗口，故兩者疊加時，對于有重合面積的誤檢窗口的抑制效果并不會疊加，所以不能產(chǎn)生1+1＞2的效果。

當(dāng)我們使用ACF+（1）+（2）+（3）時，MR降低了17.01%-13.46%=3.55%，誤檢數(shù)減少103個，漏檢數(shù)減少15個，同時減少了誤檢數(shù)和漏檢數(shù)。對比ACF+（1）+（2）的實驗結(jié)果，說明了窗口修正機制的強大效果，通過對誤檢窗口進行修正，使其變?yōu)檎_窗口。不僅能減少誤檢數(shù)，也能減少漏檢數(shù)。相比文獻［13］中方法將MR降低2.63%，本文提出方法效果更優(yōu)。

在時間復(fù)雜度上的對比，為了讓時間復(fù)雜度有著更加直觀的對比。本文設(shè)計的實驗為：先使用ACF對INRIA數(shù)據(jù)集進行檢測，然后將未進行非極大值抑制的結(jié)果，分別使用ACF后處理算法與本文所提后處理算法進行處理10次，取平均時間，直接對比上述兩種方法之間的時間復(fù)雜度。

其中，開發(fā)環(huán)境Anconda 3.4.1 Spyder（Python3.6），代碼語言Python，處理器Inter（R）Core（TM） i7-7700 CPU 3.65GHz。

使用ACF原后處理算法所用時間為0.9375s，使用本文提出后處理方法所用時間為1.1916s。時間消耗增加僅為0.2541s，平均處理每張圖片增加時間僅為0.00088s，時間無明顯增加。對比文獻［13］中方法增加了0.538s，主要是由于其中使用重復(fù)抑制策略，相當(dāng)于進行了兩次非極大值抑制，大大增加了時間消耗。故對比之下，本文方法更優(yōu)。

5 結(jié) 論

本文針對傳統(tǒng)后處理方法的不足，對快速行人檢測算法ACF后處理部分進行了改進，在沒有損耗過大的時間消耗下，極大的提高了算法的精度。在公共行人檢測數(shù)據(jù)集INRIA上進行測試，使ACF從MR=17.01%提升到MR=13.46%，且處理單張圖片的時間只增加0.00088s，幾乎沒有時間增加，對比文獻［13］和［15］，本文提出后處理算法能夠得到更高的行人檢測精度。