梁?煜，李佳豪，張?為，孫琦龍

嵌入中心點(diǎn)預(yù)測模塊的Yolov3遮擋人員檢測網(wǎng)絡(luò)

梁?煜1，李佳豪1，張?為1，孫琦龍2

(1. 天津大學(xué)微電子學(xué)院，天津 300072；2. 青海民族大學(xué)計(jì)算機(jī)學(xué)院，西寧 810007)

為解決目前實(shí)際監(jiān)控場景下人員檢測任務(wù)中存在的遮擋問題，提出了一種改進(jìn)的Yolov3檢測網(wǎng)絡(luò)．首先，針對現(xiàn)有人員檢測算法的被檢測目標(biāo)姿態(tài)單一且大多是室外直立行人的問題，自建了一個包含16832張樣本的多場景人員檢測數(shù)據(jù)集用于對檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，其中包含訓(xùn)練集樣本12090張，測試集樣本4742張．隨后，為了提升網(wǎng)絡(luò)在遮擋情況下的檢測效果，設(shè)計(jì)了中心點(diǎn)預(yù)測模塊(CPM)并將其嵌入到原Yolov3網(wǎng)絡(luò)中3個尺度的輸出特征圖上，通過該模塊首先確定目標(biāo)的中心位置作為預(yù)提取的中心點(diǎn)，隨后在此預(yù)提取的中心點(diǎn)上對目標(biāo)的位置和尺寸進(jìn)行精確的回歸．最后，候選框的精確回歸中采用廣義的交并比指標(biāo)來構(gòu)造損失函數(shù)進(jìn)行優(yōu)化，通過準(zhǔn)確地構(gòu)造候選框和真實(shí)目標(biāo)框的位置關(guān)系來提高其回歸精度，同時降低損失函數(shù)在不同尺度目標(biāo)下的波動．實(shí)驗(yàn)結(jié)果表明：優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)后的檢測網(wǎng)絡(luò)在測試集上的檢測精度提高了2.92%，漏檢率下降2.94%，針對實(shí)際監(jiān)控場景下的遮擋情形取得了很好的檢測效果，而且對多姿態(tài)人員目標(biāo)的檢測結(jié)果具有很好的魯棒性；同時檢測速度達(dá)到了28幀/s，保證了檢測的實(shí)時性．另外，在Caltech行人數(shù)據(jù)庫上該網(wǎng)絡(luò)的漏檢率為6.02%，相對于傳統(tǒng)的檢測網(wǎng)絡(luò)同樣達(dá)到了最優(yōu)的效果，進(jìn)一步印證了網(wǎng)絡(luò)在行人檢測任務(wù)上的優(yōu)越性．

計(jì)算機(jī)視覺；視頻監(jiān)控；卷積神經(jīng)網(wǎng)絡(luò)；人員檢測；人員遮擋

隨著近年來計(jì)算機(jī)視覺領(lǐng)域的飛速發(fā)展，依附于現(xiàn)有監(jiān)控平臺的智能視頻監(jiān)控技術(shù)逐漸成為一個活躍的研究方向，通過監(jiān)控系統(tǒng)進(jìn)行人員檢測是其中一個重要的分支，應(yīng)用場景也較為廣泛．在安防領(lǐng)域，可以通過對可疑人員的檢測進(jìn)行及時的安全預(yù)警；在安全調(diào)度方面，對人流密度較大的區(qū)域可以通過人數(shù)的統(tǒng)計(jì)來優(yōu)化人力和物力的分配調(diào)度；在人員管理方面，可以對值班室、消防控制室等重要場所工作人員是否在崗做出判斷以便消除潛在的安全隱患[1]．

基于此，學(xué)者們不斷對人員檢測相關(guān)領(lǐng)域做著深入的研究，檢測手段主要包括早期的基于機(jī)器學(xué)習(xí)的方法和近年來基于深度學(xué)習(xí)的方法．基于機(jī)器學(xué)習(xí)的方法主要通過構(gòu)造人工特征和分類器判別相結(jié)合的方式[2-4]．近年來，隨著計(jì)算機(jī)計(jì)算能力的提升，研究人員們開始探索利用深度學(xué)習(xí)網(wǎng)絡(luò)對人員進(jìn)行檢測的新手段，一些典型的目標(biāo)檢測網(wǎng)絡(luò)被應(yīng)用到行人檢測任務(wù)上來．例如Faster R-CNN[5]檢測網(wǎng)絡(luò)通過預(yù)設(shè)錨點(diǎn)(anchor)生成候選框后進(jìn)一步分類判別的手段對目標(biāo)進(jìn)行檢測，取得了較高的檢測率．Redmon等[6-8]提出的YOLO系列網(wǎng)絡(luò)致力于縮短單張圖片的檢測時間，對于行人檢測能夠滿足實(shí)時性．一些行人檢測的專用算法也不斷出現(xiàn)，Ouyang等[9]提出Joint Deep Learning策略，文中將特征提取、形變處理、遮擋處理和分類過程相互結(jié)合進(jìn)行人員檢測．Liu等[10]應(yīng)用無錨點(diǎn)框(anchor-free)思想通過對行人的中心點(diǎn)和尺寸預(yù)測來進(jìn)行人員檢測．

在實(shí)際監(jiān)控條件下，圖像所呈現(xiàn)的場景會相對復(fù)雜，多人員目標(biāo)共存時的互相遮擋會在很大程度上影響檢測精度．近年來，一些學(xué)者也在人員檢測的基礎(chǔ)上針對遮擋問題提出了自己的解決辦法．Zhou等[11]從網(wǎng)絡(luò)本身出發(fā)，通過搭建兩個分支分別對人體的全身和可見部分進(jìn)行檢測，最后再進(jìn)行融合．Zhang?等[12]從損失函數(shù)的優(yōu)化入手，結(jié)合改進(jìn)的ROI Pooling[5]改善了遮擋問題．

上述網(wǎng)絡(luò)及處理方法雖然取得了不錯的檢測精度，但是檢測目標(biāo)大多是針對戶外的直立行人，并且數(shù)據(jù)集樣本多為水平拍攝．而對于實(shí)際監(jiān)控場景，攝像頭與人員之間會存在一定的傾角，不同監(jiān)控場景下的人員姿態(tài)也是多變的，這些因素會對現(xiàn)有網(wǎng)絡(luò)的檢測效果帶來一定的影響；另外，傳統(tǒng)的目標(biāo)邊界框回歸所用到的損失函數(shù)無法準(zhǔn)確表征真實(shí)目標(biāo)框和預(yù)測框之間的關(guān)系，而且對不同尺度的目標(biāo)損失函數(shù)值波動較大，導(dǎo)致最終的優(yōu)化效果不佳．需要設(shè)置更為精確的邊界框損失函數(shù)來引導(dǎo)其回歸過程；最后，實(shí)際監(jiān)控下的人員檢測任務(wù)中重要的一點(diǎn)是能夠達(dá)到實(shí)時檢測，而YOLO系列網(wǎng)絡(luò)在檢測速度上能夠保證實(shí)時性，其中第3代版本Yolov3則兼顧了檢測時間和檢測精度，達(dá)到了不錯的效果．但是針對遮擋問題，網(wǎng)絡(luò)仍然沿用傳統(tǒng)的特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)[13]＋anchor的檢測方式，特征圖上所有像素點(diǎn)覆蓋anchor進(jìn)行回歸篩選，最后通過非極大值抑制(non maximum suppression，NMS)篩選預(yù)測框．一方面，在處理時間上無法達(dá)到最優(yōu)；另一方面，過多的距離較近的候選框在篩選時很容易造成漏檢或者誤檢，從而降低了網(wǎng)絡(luò)的檢測性能．

基于以上問題的分析，本文做出了如下貢獻(xiàn)：

(1) 建立了專用的多場景人員檢測數(shù)據(jù)集(MHDD)，數(shù)據(jù)集樣本的采集兼顧了室內(nèi)和室外2種大環(huán)境，并且包含多種姿態(tài)的人員目標(biāo)；

(3) 針對人員檢測中可能出現(xiàn)的遮擋問題，設(shè)計(jì)了中心點(diǎn)預(yù)測模塊(center prediction module，CPM)并將其嵌入到原網(wǎng)絡(luò)的3個輸出特征層上，首先預(yù)測出目標(biāo)的中心點(diǎn)，在此基礎(chǔ)上對目標(biāo)的精確位置和尺寸進(jìn)行預(yù)測，有效地提升了遮擋情況下的檢測效果．

1?本文算法

1.1?Yolov3網(wǎng)絡(luò)簡介

圖1?Yolov3檢測網(wǎng)絡(luò)

Yolov3網(wǎng)絡(luò)同樣引入了anchor機(jī)制，通過anchor的設(shè)置引導(dǎo)網(wǎng)絡(luò)的訓(xùn)練．通過維度聚類算法，對數(shù)據(jù)集所有樣本中真實(shí)目標(biāo)框(ground-truth boxes)的尺寸進(jìn)行聚類分析，得出9組不同的寬高組合，進(jìn)一步將9組數(shù)據(jù)分為3個大組，分別分配給3個不同的尺度，每個尺度包含3個不同的寬高組合．通過不同尺寸anchor的設(shè)置來實(shí)現(xiàn)對不同尺度目標(biāo)的檢測.

1.2?GIoU Loss

在目標(biāo)檢測領(lǐng)域，目標(biāo)邊界框的回歸是很重要的一個步驟，早期的研究中主要采用L1Loss或者L2Loss構(gòu)造損失函數(shù)來優(yōu)化邊界框的回歸．但是，基于L1或L2距離的損失函數(shù)對真實(shí)目標(biāo)框和預(yù)測框尺度的變化比較敏感，即框的尺寸發(fā)生不斷變化時，損失函數(shù)會不斷波動．為了優(yōu)化這個問題，文獻(xiàn)[14]首先提出可以通過IoU構(gòu)造損失函數(shù)的方式對邊界框進(jìn)行回歸，能夠從一定程度上解決尺度變化帶來的問題.

但是，IoULoss同樣存在一些問題，主要表現(xiàn)在以下兩個方面：首先是真實(shí)目標(biāo)框和預(yù)測框沒有重疊時，IoU的值始終為0，無法表征2個框的距離，導(dǎo)致無法進(jìn)行優(yōu)化；其次是IoU無法區(qū)分2個框不同的位置關(guān)系，如圖2所示．圖中2個框在3種情況下具有相同的IoU，但位置關(guān)系卻差異巨大．

圖2?兩個矩形框的不同位置關(guān)系

其中，

1.3?中心點(diǎn)預(yù)測模塊

1.3.1?遮擋問題分析

遮擋問題是制約人員檢測精確度提升的主要因素之一，遮擋情況下的檢測結(jié)果如圖3所示．從圖中可以看出，因待檢測目標(biāo)之間的距離較近，容易導(dǎo)致漏檢或者誤檢的現(xiàn)象發(fā)生．

圖3?遮擋下的人員檢測

Yolov3網(wǎng)絡(luò)同傳統(tǒng)的基于錨點(diǎn)框(anchor-based)的目標(biāo)檢測算法流程類似，如圖4所示．

圖4?Yolov3預(yù)測流程

測試過程中檢測算法會在每一個疑似目標(biāo)的周圍生成一組候選框，如果不存在遮擋現(xiàn)象，針對這一組候選框進(jìn)行NMS操作，即可以有效地濾除多余的候選框，從而篩選出最終得分最高的預(yù)測框．但是當(dāng)2個或者多個目標(biāo)相互遮擋時，目標(biāo)距離過近會導(dǎo)致最終的幾組候選框融合為一組，此時再進(jìn)行NMS操作時，算法無法分辨此時的候選框是來自于同一目標(biāo)還是幾個不同的目標(biāo)，從而會導(dǎo)致漏檢或者誤檢現(xiàn)象地發(fā)生．所以想要提高遮擋環(huán)境下人員檢測的精度，就應(yīng)該設(shè)法讓不同目標(biāo)所產(chǎn)生的候選框區(qū)分開來，單獨(dú)進(jìn)行篩選．

1.3.2?中心點(diǎn)預(yù)測

近年來，隨著anchor-free概念的提出，目標(biāo)檢測逐漸擺脫了anchor的束縛，極大地簡化了網(wǎng)絡(luò)結(jié)構(gòu)，并且提高了檢測精度．該檢測算法的核心思路是首先進(jìn)行關(guān)鍵點(diǎn)的預(yù)測，比如目標(biāo)的中心點(diǎn)、左上或者右下角點(diǎn)等等，接下來在中心點(diǎn)的基礎(chǔ)上進(jìn)行目標(biāo)尺寸的回歸．

接下來是訓(xùn)練過程，其損失函數(shù)表達(dá)式如下

1.3.3?嵌入CPM的Yolov3網(wǎng)絡(luò)

通過以上的分析，為了提升網(wǎng)絡(luò)在遮擋情況的檢測性能，應(yīng)該設(shè)法減少過多候選框的相互干擾，而第1.3.2節(jié)提到的中心點(diǎn)檢測思想可以很好地解決這個問題，但是其檢測網(wǎng)絡(luò)在面對多尺度目標(biāo)檢測時仍存在一些問題，以CenterNet[17]為例，其只是將輸入圖像通過卷積運(yùn)算進(jìn)行了4倍的下采樣，隨后進(jìn)行中心點(diǎn)的預(yù)測及邊界框的回歸，并不包含多尺度信息．于是本文借鑒anchor-free思想中的關(guān)鍵點(diǎn)檢測方法，設(shè)計(jì)了CPM并將其與 Yolov3網(wǎng)絡(luò)結(jié)合，即先確定目標(biāo)的中心點(diǎn)，接下來只在預(yù)提取的中心點(diǎn)上進(jìn)行目標(biāo)邊界框的回歸，而不再回歸所有的像素點(diǎn)．本文所提出的檢測網(wǎng)絡(luò)一方面保留了FPN結(jié)構(gòu)在應(yīng)對多尺度目標(biāo)檢測時的優(yōu)越性，另一方面通過中心點(diǎn)檢測分支減少候選框的數(shù)量，從而提高遮擋情況下的檢測精度．本文最終的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示．

圖5?嵌入中心點(diǎn)預(yù)測模塊的Yolov3

在原網(wǎng)絡(luò)的3個預(yù)測層分別增加一個中心點(diǎn)預(yù)測分支，通過該分支生成對應(yīng)尺度的Heatmap，隨后進(jìn)行中心點(diǎn)的篩選，具體方法是從Heatmap中篩選出比周圍8個臨近點(diǎn)都要大(或者相等)的點(diǎn)，再從這些點(diǎn)中最多選出100個數(shù)值較大的點(diǎn)作為最終預(yù)提取的中心點(diǎn)；接下來，將預(yù)測出的中心點(diǎn)覆蓋到原來的輸出分支上；最后，anchor的設(shè)置不再是分配在所有的像素點(diǎn)上，而只是為所預(yù)測出的中心點(diǎn)分配對應(yīng)尺度的anchor，進(jìn)一步對目標(biāo)的精確位置和尺寸進(jìn)行回歸．特別的，預(yù)測完成后，因?yàn)榇藭r不再像傳統(tǒng)方法一樣存在許多候選框，所以這里直接從3個anchor所預(yù)測的結(jié)果中選取最優(yōu)的一個作為最終的預(yù)測框，不再加入NMS操作．

嵌入CPM的Yolov3網(wǎng)絡(luò)一方面能夠很好地應(yīng)對遮擋問題，另一方面該網(wǎng)絡(luò)結(jié)構(gòu)使得算法的計(jì)算復(fù)雜度更低．傳統(tǒng)的anchor-based檢測網(wǎng)絡(luò)包括原Yolov3網(wǎng)絡(luò)的逐像素點(diǎn)覆蓋anchor的方式會造成大量的計(jì)算，而只在確定的中心點(diǎn)上設(shè)置anchor能夠極大地減小計(jì)算量．另外，傳統(tǒng)目標(biāo)檢測算法中的NMS操作同樣會帶來很大的計(jì)算量，本文則直接舍棄了NMS操作，進(jìn)一步提升了算法的計(jì)算效率．

最終網(wǎng)絡(luò)的損失函數(shù)如下

2?實(shí)驗(yàn)數(shù)據(jù)集

本文采用公開的Caltech行人數(shù)據(jù)庫[19]及自建的多場景人員檢測數(shù)據(jù)集(MHDD)對算法的可靠性進(jìn)行測試．

2.1?Caltech行人數(shù)據(jù)庫

表1?Caltech數(shù)據(jù)庫行人尺度分布

Tab.1?Pedestrian scale distribution of Caltech

2.2?MHDD

對于實(shí)際監(jiān)控場景，樣本并不像Caltech數(shù)據(jù)庫的水平拍攝一樣，監(jiān)控探頭與人員之間會存在一定的傾角；另外Caltech數(shù)據(jù)庫拍攝場景多為街景，人員大多是直立狀態(tài)，而實(shí)際監(jiān)控場景下人員姿態(tài)是多變的，這些因素會對實(shí)際的檢測效果帶來一定的影響，為了更好地契合實(shí)際監(jiān)控場景下的人員檢測任務(wù)，本文建立了專用的MHDD．

數(shù)據(jù)采集自實(shí)際的高清監(jiān)控探頭，總共涉及13個監(jiān)控場景，部分監(jiān)控視頻圖像如圖6所示．

圖6?MHDD樣本

監(jiān)控視頻來源主要包括學(xué)校教學(xué)樓內(nèi)部及外部的人員，值班室或者辦公室的人員，以及室外開放空間下的人員．其中室外的人員多為直立行走姿態(tài)，室內(nèi)人員多為坐姿，保證了數(shù)據(jù)集目標(biāo)的多姿態(tài)性．并且室外的開放空間包含較多的中距離及遠(yuǎn)景人員目標(biāo)，保證了目標(biāo)的多尺度性，數(shù)據(jù)集中目標(biāo)的尺寸具體如表2所示，不同于Caltech的劃分方式，MHDD通過標(biāo)注框總體所占的像素對人員尺度進(jìn)行劃分．另外，針對本文的研究方向，樣本的選取注重了遮擋環(huán)境下的情形．

表2?MHDD行人尺度分布

Tab.2?Pedestrian scale distribution of MHDD

運(yùn)用第1.1節(jié)提到的維度聚類算法對MHDD所有樣本進(jìn)行聚類分析得出如下9組寬高組合：(8，29)、(12，43)、(20，72)、(32，142)、(45，86)、(47，205)、(69，130)、(75，230)、(195，327)，進(jìn)一步得出樣本中目標(biāo)人員比例大致為1∶2、1∶3、1∶4以及3∶5幾種，不同比例的人員目標(biāo)使得最終的模型在面對實(shí)際監(jiān)控下的多姿態(tài)人員檢測任務(wù)時魯棒性更強(qiáng)．

3?實(shí)驗(yàn)分析

3.1?網(wǎng)絡(luò)訓(xùn)練及模型評價(jià)指標(biāo)

本實(shí)驗(yàn)平臺基于64位的Ubuntu16.04操作系統(tǒng)和NVIDIA TITAN Xp GPU，運(yùn)用Tensorflow框架搭建神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試過程．通過在COCO數(shù)據(jù)集上訓(xùn)練得到預(yù)訓(xùn)練權(quán)重做為初始權(quán)重，網(wǎng)絡(luò)的訓(xùn)練過程迭代30輪(epoch)，訓(xùn)練過程動量大小為0.9，采用自適應(yīng)優(yōu)化算法(AdamOptimizer)來優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率處于動態(tài)變化中．訓(xùn)練過程采用多尺度輸入，保證所有的真實(shí)目標(biāo)(尤其是小尺度目標(biāo))能夠做到充分訓(xùn)練．

本文對檢測模型的評價(jià)采用目標(biāo)檢測中常用的AP(average precision)和行人檢測領(lǐng)域?qū)Ｓ玫腇PPI-MR(false positives per image-miss rate)兩個指標(biāo)．

AP值的計(jì)算涉及到精確率(precision)和召回率(recall)兩個指標(biāo)，其二者計(jì)算方式如下

3.2?實(shí)驗(yàn)結(jié)果及分析

如式(5)所示，網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)由兩部分組成，即中心點(diǎn)損失和邊界框回歸損失，筆者通過實(shí)驗(yàn)分別驗(yàn)證二者的功效．

首先筆者通過實(shí)驗(yàn)分析中心點(diǎn)損失，為了能夠直觀地呈現(xiàn)訓(xùn)練的過程，筆者對訓(xùn)練過程中不同epoch處的Heatmap進(jìn)行了提取，部分實(shí)驗(yàn)結(jié)果如圖7所示.

實(shí)驗(yàn)分別對epoch在1、10、20及30處的Heatmap進(jìn)行了提取，從圖7可以看出，隨著訓(xùn)練迭代輪數(shù)的增加，目標(biāo)的中心點(diǎn)逐漸獨(dú)立出來，而且中心點(diǎn)的比重不斷增大(圖中目標(biāo)中心位置顏色的深淺代表其所占比重，顏色越深，比重越大，也越接近中心點(diǎn))，另外，對于可能存在的遮擋問題，兩個距離較近的目標(biāo)中心點(diǎn)同樣能夠很好地分離，也印證了該損失項(xiàng)的有效性．另外，從實(shí)驗(yàn)結(jié)果可以看出算法對于小尺度目標(biāo)同樣能夠精確地預(yù)測出其中心點(diǎn)的位置.

圖7?不同epoch下中心點(diǎn)提取效果

表3?不同損失函數(shù)下模型的檢測效果對比

Tab.3 Comparison of the model detection effects under different loss functions

表4?嵌入CPM與否對模型的檢測效果對比

Tab.4 Comparison of the model detection effects with and without CPM

嵌入CPM的Yolov3網(wǎng)絡(luò)在兩個評價(jià)指標(biāo)上均取得了更好的結(jié)果，其中AP值提高了1.25%，漏檢率MR下降了1.31%．圖8展示了部分含遮擋情況樣本的檢測結(jié)果．從圖中的對比可以看出，嵌入CPM的Yolov3網(wǎng)絡(luò)在處理實(shí)際監(jiān)控場景下的遮擋情形時表現(xiàn)出了更為優(yōu)異的性能，有效地降低了漏檢或者誤檢現(xiàn)象的發(fā)生．另外，優(yōu)化后的網(wǎng)絡(luò)因?yàn)椴⑽磳λ械南袼攸c(diǎn)覆蓋anchor進(jìn)行邊界框回歸，而僅用了預(yù)提取的中心點(diǎn)，且省去了NMS過程，所以最終網(wǎng)絡(luò)的檢測時間略快于原網(wǎng)絡(luò)，能夠保證實(shí)時檢測，故算法對實(shí)際監(jiān)控場景下的人員檢測任務(wù)具有一定的應(yīng)用意義．

為了進(jìn)一步證明算法的通用性，本文另在Caltech行人數(shù)據(jù)庫上進(jìn)行了模型的訓(xùn)練和測試工作，并與文獻(xiàn)[5, 8, 17, 20]的測試結(jié)果進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表5所示．表中分別列出了不同檢測網(wǎng)絡(luò)所采用的主干網(wǎng)絡(luò)(backbone)和測試圖片的尺寸(scale). 其中Faster R-CNN算法的訓(xùn)練和測試圖像尺寸分別為原圖寬高的1.3倍；Yolov3算法在訓(xùn)練時采用多尺度輸入，將圖像的寬高放縮到同一長度，寬高值涉及320、352、384、416、448、480、512、544、576、608幾個不同的尺度，測試時統(tǒng)一寬高的長度為544；CenterNet算法采用單尺度輸入，訓(xùn)練和測試圖像尺寸均為512×512；本文所提出的算法與Yolov3算法相同，同樣采用多尺度訓(xùn)練．

實(shí)驗(yàn)結(jié)果表明，相對于早期的行人檢測算法(文獻(xiàn)[20])以及傳統(tǒng)的目標(biāo)檢測算法(文獻(xiàn)[5，8])，本文所提出的嵌入CPM的Yolov3網(wǎng)絡(luò)獲得了更低的漏檢率．與典型的關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)(文獻(xiàn)[17])相比，測試結(jié)果近似處于同一水平．由此可以證明本文所提出的檢測算法對于行人檢測任務(wù)同樣具有一定的優(yōu)越性．

圖8?Yolov3嵌入CPM與否的檢測效果對比

表5?不同算法在Caltech上的檢測效果

Tab.5?Detection effect of different algorithms on Caltech

4?結(jié)?語

由于實(shí)際監(jiān)控場景的復(fù)雜性，算法在人員檢測的過程中不可避免地會存在一些誤報(bào)，以后可以從主干網(wǎng)絡(luò)入手，對于人員的特征進(jìn)行更加精準(zhǔn)的提取，從而進(jìn)一步提升算法的檢測性能．

［1］ 王?霞，張?為. 基于聯(lián)合學(xué)習(xí)的多視角室內(nèi)人員檢測網(wǎng)絡(luò)[J]. 光學(xué)學(xué)報(bào)，2019，39(2)：78-88.

Wang Xia，Zhang Wei. Multi-view indoor human detection neural network based on joint learning[J]. Acta Optica Sinica，2019，39(2)：78-88(in Chinese).

［2］ Dalal N，Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE Conference on Computer Vision and Pattern Recognition. San Diego，USA，2005：886-893.

［3］ Lowe D G. Distinctive image features from scale-Invariant keypoints[J]. International Journal of Computer Vision，2004，60(2)：91-110.

［4］ Piotr D，Zhuowen T，Pietro P，et al. Integral channel features[C]// 2009 British Machine Vision Conference. London，UK，2009：1-11.

［5］ Ren S，He K，Girshick R，et al. Faster R-CNN：Towards real-time object detection with region proposal networks[J]. IEEE Transactions Pattern Analysis and Machine Intelligence，2015，39(6)：1137-1149.

［6］ Redmon J，Divvala S，Girshick R，et al. You only look once：Unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA，2016：779-788.

［7］ Redmon J，F(xiàn)arhadi A. YOLO9000：Better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA，2017：7263-7271.

［8］ Redmon J，F(xiàn)arhadi A. YOLOv3：An Incremental Improvement[EB/OL]. https://arxiv.org/abs/1804.02767，2018-04-08.

［9］ Ouyang W，Wang X. Joint deep learning for pedestrian detection[C]//2013 IEEE International Conference on Computer Vision. Sydney，NSW，Australia，2013：2056-2063.

［10］ Liu W，Liao S，Ren W，et al. High-level semantic feature detection：A new perspective for pedestrian detection[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，CA，2019：5187-5196.

［11］ Zhou C，Yuan J. Bi-box regression for pedestrian detection and occlusion estimation[C]//2018 European Conference on Computer Vision. Munich，Germany，2018：135-151.

［12］ Zhang S，Wen L，Bian X，et al. Occlusion-aware R-CNN：Detecting pedestrians in a crowd[C]//2018 European Conference on Computer Vision. Munich，Germany，2018：637-653.

［13］ Lin T Y，Dollar P，Girshick R，et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA，2017：2117-2125.

［14］ Rezatofighi H，Tsoi N，Gwak J Y，et al. Generalized intersection over union：A metric and a loss for bounding box regression[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，CA，2019：658-666.

［15］ He K，Zhang X，Ren S，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA，2016：770-778.

［16］ Lin T，Goyal P，Girshick R，et al. Focal loss for dense object detection[J]. IEEE Transactions Pattern Analysis and Machine Intelligence，2018，42(2)：318-327.

［17］ Zhou X，Wang D，Krahenbuhl P. Objects as Points [EB/OL]. https://arxiv.org/abs/1904.07850v1，2019-04-16.

［18］ Law H，Deng J. CornerNet：Detecting objects as paired keypoints[C]//2018 European Conference on Computer Vision. Munich，Germany，2018：734-750.

［19］ Piotr D，Christian W，Pietro P，et al. Pedestrian detection：A benchmark[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami，F(xiàn)L，USA，2009：304-311.

［20］ Cai Z，Saberian M，Vasconcelos N. Learning complexity-aware cascades for deep pedestrian detection[C]//2015 IEEE International Conference on Computer Vision. Santiago，Chile，2015：3361-3369.

Embedded Center Prediction Module of Yolov3 Occlusion Human Detection Network

Liang Yu1，Li Jiahao1，Zhang Wei1，Sun Qilong2

(1. School of Microelectronics，Tianjin University，Tianjin 300072，China；2. School of Computer Science，Qinghai Nationalities University，Xining 810007，China)

To solve the occlusion problem in the current human detection task in actual monitoring scenarios，an improved Yolov3 detection network was proposed. First，in view of the problem that the detected target posture of the existing human detection algorithms is that of single，mostly outdoor，upright pedestrians，a multi-scene human detection dataset(MHDD)containing 16832 samples was self-built for training and testing the network，which included 12090 samples in the training set and 4742 samples in the test set. Then，to improve the detection effect of the network in the case of occlusion，the center prediction module(CPM)was designed and embedded into the three-scale output feature map of the original Yolov3 network. This module first determined the center position of the target as the pre-extracted center point，and then the location and size of the target were accurately regressed on it. Finally，in the accurate regression of the candidate boxes，the GIoU(generalized intersection over union)was used to construct the loss function for optimization，and the regression accuracy was improved by accurately constructing the position relationship between the candidate boxes and real target boxes，which also reduced the fluctuation of the loss function under different scale targets. The experimental results show that the detection accuracy of the detection network on the test set after optimizing the network structure and the loss function is increased by 2.92%，and the missed detection rate is decreased by 2.94%. The network achieves a good detection effect for the occlusion situation in actual monitoring scenarios，and it has good robustness for the detection results of multi-pose human targets. At the same time，the detection speed reaches 28 frames per second，ensuring real-time detection. In addition，the missed detection rate of the network on the Caltech pedestrian database is 6.02%，which also achieves better results than those of the traditional detection networks，further confirming the superiority of the network in pedestrian detection tasks.

computer vision；video surveillance；convolutional neural network；human detection；human occlusion

TP391.4

A

0493-2137(2021)05-0517-09

10.11784/tdxbz202003010

2020-03-07；

2020-04-29.

梁?煜（1975—??），男，博士，副教授，liangyu@tju.edu.cn.

張?為，tjuzhangwei@tju.edu.cn.

公安部技術(shù)研究計(jì)劃資助項(xiàng)目(2017JSYJC35)；青海民族大學(xué)理工自然科學(xué)重大項(xiàng)目(2019xjz003)；新一代人工智能科技重大專項(xiàng)(19ZXNGX0030)．

Supported by the Technology Research Program of MinistryofPublicSecurity(No.2017JSYJC35)，the Major Program of the Science and Technology of Qinghai Nationalities University(No.2019xjz003)，the Major Project of New Generation of Artificial Intelligence Technology(No.19ZXNGX0030)．

(責(zé)任編輯：王曉燕)