龐丁黎，奪實祥偉，楊舒舒，秦君

（云南電網(wǎng)有限責(zé)任公司德宏供電局，云南 德宏 678400）

0 前言

據(jù)統(tǒng)計，大約80%的人從外部世界中獲得的信息都是來自于視覺，所以，視覺信息在人們獲得信息中扮演著非常重要的角色。同時，伴隨著科學(xué)技術(shù)的持續(xù)發(fā)展，人們需要利用現(xiàn)有的技術(shù)，來幫助人們完成某些視覺任務(wù)，從而使計算機(jī)視覺這一領(lǐng)域成為了當(dāng)下的一個研究熱點。

在計算機(jī)視覺領(lǐng)域中，行人檢測屬于一個重要的研究領(lǐng)域，它主要是通過使用圖像處理和機(jī)器學(xué)習(xí)的方法，來對圖像中的行人展開定位，并對每個行人目標(biāo)的大致位置進(jìn)行精確的預(yù)測。一個較為精確的行人檢測模型，是后續(xù)圖像智能分析（行人目標(biāo)跟蹤，識別，檢索，匹配等領(lǐng)域）的先驗條件。所以，它的應(yīng)用領(lǐng)域非常廣泛，包括：軍事領(lǐng)域、視頻監(jiān)控與安防領(lǐng)域、無人駕駛領(lǐng)域、搜索營救領(lǐng)域[1]。

2005 年，Dalal 等通過對行人區(qū)域進(jìn)行分割，并通過對其局部區(qū)域進(jìn)行梯度直方圖的統(tǒng)計，得到了行人邊緣的輪廓信息。自HOG（High Theoretical Graph，簡稱HOG）特征被提出以來，已有不少學(xué)者在此基礎(chǔ)上對其進(jìn)行了改進(jìn)。為了提高梯度直方圖的檢測效率問題，Zhu 等人[2]采用積分圖的形式加速梯度直方圖的計算。Yangwei Pang 等人通過對局部窗口重疊區(qū)域的特征利用，避免了梯度直方圖在特征選取的時候重復(fù)計算問題，將檢測時間縮短為原來的1/5。2008 年Felzenszwalb 等人[3]基于圖結(jié)構(gòu)，提出了可形變部件模型（Deformable Part Model，簡稱DPM），該模型主要包括根模型和部件模型兩部分。該模型將整體和局部信息結(jié)合在一起。根模型在低分辨的特征圖上捕獲整體輪廓，部件模型在高分辨率的特征圖上捕獲細(xì)節(jié)部分，將二者進(jìn)行融合得到最終的結(jié)果。2010 年，F(xiàn)elzenszwalb 等人[4]在原有可形變部件模型的基礎(chǔ)上，融入了視覺語法和多個視覺角度，采用一組混合模型，能夠更好的處理人體的形變問題。目前可形變部件模型已成為眾多分類器、分割、人體姿態(tài)和行為分類的重要部分。然而在可形變部件模型的檢測算法中，算法的時間主要消耗在部件和圖片匹配過程以及最優(yōu)部件位置的選取與計算上，F(xiàn)elzenszwalb的模型在當(dāng)時的時間復(fù)雜度上并不理想，因此，F(xiàn)elzenszwalb 在可形變部件模型的基礎(chǔ)上提出了級聯(lián)檢測，使用主成分分析法對特征進(jìn)行降維，提高了整個算法的速度。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，行人遮擋檢測進(jìn)入了第二階段，使用深度學(xué)習(xí)方法進(jìn)行檢測。2009 年P(guān)iotr Dollar 等人[5]開源了Caltech數(shù)據(jù)集，從而為行人遮擋檢測在深度學(xué)習(xí)領(lǐng)域的發(fā)展提供了更多的高質(zhì)量的行人訓(xùn)練數(shù)據(jù)集，為近年來深度學(xué)習(xí)在行人遮擋檢測領(lǐng)域的發(fā)展奠定了基石。2017 年 Shanshan Zhang 等人[6]，對于Cityscapes 數(shù)據(jù)集進(jìn)行了重新標(biāo)注并且開源了Citypersons 數(shù)據(jù)集，與此同時對于Faster RCNN 進(jìn)行了改進(jìn)，使其更有利于行人遮擋檢測任務(wù)，使用該方法進(jìn)行行人遮擋檢測成為近幾年行人遮擋檢測領(lǐng)域的基準(zhǔn)線。2018 年行人遮擋檢測領(lǐng)域有了迅猛的發(fā)展，Chunluan Zhou等人[7]提出了在模型訓(xùn)練的時候, 將可見框和全身框同時進(jìn)行訓(xùn)練,這兩個部分相互影響,從而降低在遮擋條件下漏檢率。Xinlong Wang 等人提出了Rep Loss，降低了密集場景下行人的漏檢率。

從國內(nèi)外的研究現(xiàn)狀分析，不管是基于傳統(tǒng)的機(jī)器學(xué)習(xí)方法還是基于深度學(xué)習(xí)方法對于行人遮擋檢測這一領(lǐng)域仍存在很多的不足，還需要加以研究。

1 行人檢測理論

行人檢測指的是以行人為對象檢測的主體，對輸入圖片中是否含有行人進(jìn)行判斷，如果圖片中有行人，就將其位置框出來，反之，則會忽略該圖片。但在行人檢測中，遮擋是一種很普遍的現(xiàn)象，其根本原因在于攝像機(jī)與移動物體的視角不同，即攝像機(jī)與移動物體的視角不同，所以，在現(xiàn)實生活中，遮擋現(xiàn)象普遍存在。由于人體局部被遮擋，導(dǎo)致對人體進(jìn)行識別時，往往會出現(xiàn)漏檢的情況。

基于機(jī)器學(xué)習(xí)的方法是現(xiàn)階段行人檢測算法的主流，主要運用特征提取和分類任務(wù)兩個模塊[8]來進(jìn)行檢測圖像或視頻幀中的行人。特征提取部分主要是獲得邊緣特征、顏色特征、紋理特征等行人外觀特征和深度語義特征信息，然后把這些特征運用于訓(xùn)練分類器，將背景和行人目標(biāo)兩個類別進(jìn)行高效地辨別并輸出分類結(jié)果。最后對輸入的測試圖像進(jìn)行檢測，若存在行人目標(biāo)則輸出其預(yù)測框，如圖1 所示。

圖1 行人檢測流程

目前基于深度學(xué)習(xí)的目標(biāo)檢測算法，比如說Faster RCNN，YOLO V3，SSD，RetinaNet等算法，對于非遮擋場景，也就是整張圖片中完整的行人目標(biāo)有較好的表現(xiàn)，但是在遮擋場景下效果就變得很差，如圖2 所示，我們可以看到由于行人之間遮擋會導(dǎo)致目標(biāo)檢測算法會產(chǎn)生漏檢現(xiàn)象。相比于完整的行人目標(biāo)，檢測器難以提取遮擋行人的特征，從而導(dǎo)致檢測結(jié)果變差。綜上所述，行人遮擋檢測是行人檢測領(lǐng)域當(dāng)中的難題之一。這也是本文主要的研究內(nèi)容。

圖2 行人之間遮擋導(dǎo)致漏檢效果

行人遮擋檢測主要分為2 種情況：如圖3左圖所示表示物體對于行人的遮擋，如圖3 右圖所示表示行人與行人之間的遮擋。對于一般的目標(biāo)檢測算法，在被遮擋的行人場景中表現(xiàn)良好，但是在被遮擋的行人圖像中很容易產(chǎn)生漏檢現(xiàn)象。

圖4 深度置信網(wǎng)絡(luò)結(jié)構(gòu)

在實際安防場景中，遮擋問題主要出現(xiàn)在行人密集場景，行人與行人之間的遮擋出現(xiàn)的頻率遠(yuǎn)遠(yuǎn)大于物體對于行人的遮擋。因此本文主要解決行人與行人之間的遮擋的問題,經(jīng)過實驗發(fā)現(xiàn)，本文算法不僅僅可以減少因為行人與行人之間的遮擋而產(chǎn)生的漏檢，而且還可以減少因為物體對于行人遮擋而產(chǎn)生的漏檢。

2 基于深度學(xué)習(xí)的遮擋行人檢測

基于深度學(xué)習(xí)的遮擋行人檢測算法主要分成3 種類別：

1）基于深度置信網(wǎng)絡(luò)（DBN）；

2）基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）；

3）基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

基于深度學(xué)習(xí)的算法對遮擋處理主要有兩種方式：

1）引入部件模型，通過深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)和部件模型的相結(jié)合，綜合處理遮擋；

2）基于優(yōu)化函數(shù)，通過優(yōu)化損失函數(shù)對遮擋進(jìn)行處理。

2.1 基于DBN的檢測算法

基于深度置信網(wǎng)絡(luò)的檢測算法是基于深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）進(jìn)行建模，能夠有效地識別和定位輸入圖像中的目標(biāo)物體。深度置信網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過對多個無監(jiān)督層進(jìn)行訓(xùn)練來提高學(xué)習(xí)性能。這種網(wǎng)絡(luò)通常由多個限制玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）組成[9]，每個RBM 都包含一個可見層和一個隱藏層。RBM 的學(xué)習(xí)過程是通過無監(jiān)督的方法進(jìn)行的，即網(wǎng)絡(luò)根據(jù)訓(xùn)練數(shù)據(jù)自動學(xué)習(xí)每個RBM 中的參數(shù)。深度置信網(wǎng)絡(luò)通過逐層訓(xùn)練每個RBM 來進(jìn)行訓(xùn)練，從而實現(xiàn)了對高層特征的自動提取和學(xué)習(xí)。

在基于深度置信網(wǎng)絡(luò)的檢測算法中，首先通過將輸入圖像傳遞給深度置信網(wǎng)絡(luò)來提取特征。然后，通過添加全連接層和輸出層，將網(wǎng)絡(luò)轉(zhuǎn)換為分類器，用于對輸入圖像中的目標(biāo)進(jìn)行識別和定位。深度置信網(wǎng)絡(luò)的主要優(yōu)點在于它能夠有效地學(xué)習(xí)圖像中的高級特征，因此在處理復(fù)雜圖像時比傳統(tǒng)的檢測算法表現(xiàn)更好。此外，深度置信網(wǎng)絡(luò)還可以通過微調(diào)來進(jìn)一步提高性能，這種微調(diào)技術(shù)利用大量標(biāo)記數(shù)據(jù)來對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而實現(xiàn)更好的分類和檢測。

雖然基于深度置信網(wǎng)絡(luò)的檢測算法在實際應(yīng)用中表現(xiàn)出了良好的性能，但它們也存在一些局限性。例如：

1）訓(xùn)練數(shù)據(jù)量的要求較高?；谏疃戎眯啪W(wǎng)絡(luò)的檢測算法通常需要大量的訓(xùn)練數(shù)據(jù)來獲得良好的性能。這可能會限制它們在某些應(yīng)用場景下的效果，特別是在數(shù)據(jù)量較小的情況下；

2）訓(xùn)練和調(diào)試過程相對復(fù)雜。由于深度置信網(wǎng)絡(luò)的復(fù)雜性和訓(xùn)練過程的非監(jiān)督性質(zhì)，這種算法的訓(xùn)練和調(diào)試過程相對復(fù)雜。這使得它們可能需要更多的專業(yè)知識和技能來使用和優(yōu)化。

3）可解釋性較低。由于深度置信網(wǎng)絡(luò)的復(fù)雜性和非線性性質(zhì)，它們通常比傳統(tǒng)的檢測算法更難解釋。這可能會限制它們在某些實際應(yīng)用場景中的使用，例如醫(yī)療診斷或法律審查等需要對決策過程進(jìn)行解釋的場景。

4）對計算資源要求較高?；谏疃戎眯啪W(wǎng)絡(luò)的檢測算法通常需要大量的計算資源來進(jìn)行訓(xùn)練和推理。這可能會限制它們在某些低成本或低功耗設(shè)備上的應(yīng)用，例如移動設(shè)備或嵌入式設(shè)備。

5）對數(shù)據(jù)質(zhì)量的要求較高。由于基于深度置信網(wǎng)絡(luò)的檢測算法通常需要大量的訓(xùn)練數(shù)據(jù)，因此數(shù)據(jù)質(zhì)量對它們的性能至關(guān)重要。如果訓(xùn)練數(shù)據(jù)中存在噪聲或錯誤標(biāo)注，可能會導(dǎo)致算法的性能下降。

總之，基于深度置信網(wǎng)絡(luò)的檢測算法是一種非常有前途的技術(shù)，它在圖像處理和計算機(jī)視覺領(lǐng)域具有廣泛的應(yīng)用前景。通過不斷地改進(jìn)和優(yōu)化，這種算法有望在未來實現(xiàn)更好的性能和更廣泛的應(yīng)用。

2.2 基于CNN的檢測算法

基于卷積神經(jīng)網(wǎng)絡(luò)（如圖5 所示）的檢測算法是一種應(yīng)用深度學(xué)習(xí)技術(shù)進(jìn)行目標(biāo)檢測的方法。它使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）來對輸入圖像進(jìn)行處理和分類，從而實現(xiàn)對目標(biāo)的檢測和識別[10]。

圖5 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法有如下優(yōu)勢：

1）特征提取能力強。卷積神經(jīng)網(wǎng)絡(luò)具有非常強的特征提取能力，能夠從輸入圖像中提取出高層次、抽象的特征，這些特征可以用來區(qū)分不同的目標(biāo)類別。卷積神經(jīng)網(wǎng)絡(luò)的卷積層和池化層結(jié)構(gòu)可以有效地捕捉不同尺度和方向的特征。

2）魯棒性好。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法對圖像中的光照、尺度、姿態(tài)、遮擋等變化具有很好的魯棒性，能夠處理各種復(fù)雜的場景。

3）可擴(kuò)展性強?；诰矸e神經(jīng)網(wǎng)絡(luò)的檢測算法能夠輕松地應(yīng)用于多類別目標(biāo)檢測、實時目標(biāo)跟蹤等任務(wù)中，并能夠通過添加更多的卷積層、池化層或全連接層等進(jìn)一步提升其性能。

4）訓(xùn)練效率高?；诰矸e神經(jīng)網(wǎng)絡(luò)的檢測算法使用反向傳播算法進(jìn)行訓(xùn)練，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，其訓(xùn)練效率更高。同時，由于CNN 可以直接使用圖像作為輸入，因此無需進(jìn)行繁瑣的特征提取過程，也降低了訓(xùn)練的復(fù)雜度。

5）實現(xiàn)方式多樣。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法有很多不同的實現(xiàn)方式，如Faster R-CNN（見圖6）、YOLO、SSD 等，這些算法都可以根據(jù)不同的需求進(jìn)行定制和改進(jìn)。

圖6 R-CNN算法結(jié)構(gòu)

雖然基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法具有許多優(yōu)點，但也存在一些不足之處。

1）目標(biāo)定位精度?；诰矸e神經(jīng)網(wǎng)絡(luò)的檢測算法在目標(biāo)定位精度上仍存在一定的局限性。尤其是在目標(biāo)大小不一的情況下，算法可能難以精確地定位目標(biāo)，這可能會導(dǎo)致誤判和漏檢。

2）目標(biāo)多樣性。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法往往只能檢測出一類或少數(shù)類目標(biāo)，對于目標(biāo)種類較多的情況，可能需要訓(xùn)練多個不同的模型進(jìn)行檢測，這會增加算法的復(fù)雜性和成本。

3）訓(xùn)練數(shù)據(jù)量。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法需要大量的訓(xùn)練數(shù)據(jù)才能獲得良好的性能。對于某些應(yīng)用場景，如醫(yī)學(xué)圖像分析等，數(shù)據(jù)采集難度較大，可能會影響算法的性能。

4）運算速度。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法可以通過GPU 等硬件加速來提高運算速度，但仍存在一定的計算復(fù)雜度，可能無法滿足實時性要求較高的應(yīng)用場景。

總之，基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法在實際應(yīng)用中具有一定的局限性，需要在算法設(shè)計和應(yīng)用場景選擇上進(jìn)行綜合考慮。在未來，隨著技術(shù)的不斷發(fā)展和數(shù)據(jù)資源的不斷積累，相信這些不足之處也將會逐步被克服。

2.3 基于RNN的檢測算法

基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的行人檢測是計算機(jī)視覺領(lǐng)域的一項重要研究。RNN 是一種能夠?qū)π蛄袛?shù)據(jù)進(jìn)行建模的深度學(xué)習(xí)模型（見圖7）。在行人檢測任務(wù)中，RNN 可以通過對序列數(shù)據(jù)進(jìn)行處理和判斷，來實現(xiàn)對行人的檢測。RNN 是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸并且所有節(jié)點（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN，Bi-RNN）和長短期記憶網(wǎng)絡(luò)（Long Short Term Memory networks，LSTM）是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。

圖7 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將原始圖像作為輸入，網(wǎng)絡(luò)的復(fù)雜程度導(dǎo)致學(xué)習(xí)時間較長，影響檢測器的性能。崔鵬等提出DSAEN（Deep Sparse Auto-Encoder Network），在輸入晨后加了一層感興趣縣，提取出充分表示行人信息的混合特征，在處理神經(jīng)網(wǎng)絡(luò)復(fù)雜的運算問題時，該算法將通過網(wǎng)絡(luò)得到的特征輸入到線性核函數(shù)的SVM分類器中進(jìn)行訓(xùn)練，并采用非極大值抑制法，降低計算量，能夠?qū)π腥说奈恢眠M(jìn)行精確定位。Stewart 等人提出了一種由over feat 模型改進(jìn)而來的方法，如圖8。該方法將圖像解碼成一組人體檢測器，使用一個循環(huán)的LSTM 層進(jìn)行序列生成，并使用一個新的提夫函數(shù)，同時結(jié)合定位和檢測兩方面對模型進(jìn)行端對端訓(xùn)練。同時也證明了可以利用LSTM 單元鏈將圖像內(nèi)容解碼為可變長度的相干實值輸出，是一個分部處理遮擋的新思路。

圖8 LSTM結(jié)構(gòu)

在RNN 模型中，輸入序列的每個時間步都有一個對應(yīng)的隱藏狀態(tài)。這個隱藏狀態(tài)是在模型學(xué)習(xí)過程中動態(tài)生成的，可以捕捉到輸入序列中的長期依賴關(guān)系。對于行人檢測任務(wù)，輸入序列通常是由視頻幀組成的。RNN 模型的核心是循環(huán)層。在循環(huán)層中，RNN 會根據(jù)當(dāng)前時間步的輸入和上一個時間步的隱藏狀態(tài)，計算出當(dāng)前時間步的隱藏狀態(tài)。這個隱藏狀態(tài)可以看作是對前面所有時間步的信息進(jìn)行了聚合。由于循環(huán)層的結(jié)構(gòu)，RNN 能夠捕捉到輸入序列中的時序信息，對于行人檢測任務(wù)尤為重要。

在行人檢測任務(wù)中，RNN 通常被用于序列建模，即將輸入的視頻幀序列轉(zhuǎn)換為輸出的序列，其中序列中的每個元素代表當(dāng)前時間步是否存在行人。為了實現(xiàn)這個目標(biāo)，通常需要使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來對每個視頻幀進(jìn)行特征提取，然后再將提取出的特征作為輸入序列，傳入RNN 模型進(jìn)行處理。基于RNN 的行人檢測模型通常需要經(jīng)過大量的訓(xùn)練才能達(dá)到較高的準(zhǔn)確率。在訓(xùn)練過程中，需要使用大量的數(shù)據(jù)對模型進(jìn)行訓(xùn)練，并對模型進(jìn)行不斷的優(yōu)化。同時，也需要對模型進(jìn)行調(diào)參，以達(dá)到最佳的性能。

總的來說，基于RNN 的行人檢測是一項具有挑戰(zhàn)性的任務(wù)，需要對深度學(xué)習(xí)模型有深入的了解，并在實踐中不斷探索和優(yōu)化。

3 結(jié)束語

基于深度學(xué)習(xí)的遮擋情形下行人檢測是計算機(jī)視覺領(lǐng)域中一個重要的研究方向，旨在解決現(xiàn)實場景中行人被遮擋的情況下的檢測問題。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展和硬件設(shè)備的不斷升級，基于深度學(xué)習(xí)的遮擋情形下行人檢測已經(jīng)取得了顯著的進(jìn)展。首先，可以通過訓(xùn)練大規(guī)模的數(shù)據(jù)集來學(xué)習(xí)遮擋情形下行人的特征，進(jìn)而提高檢測的準(zhǔn)確性和魯棒性；其次，一些基于深度學(xué)習(xí)的方法采用多尺度的特征提取方式和級聯(lián)式的檢測網(wǎng)絡(luò)，可以有效地提高檢測的速度和效率；此外，一些基于深度學(xué)習(xí)的方法還將注意力機(jī)制和目標(biāo)跟蹤技術(shù)等引入行人檢測中，進(jìn)一步提升了檢測的性能和魯棒性。

基于深度學(xué)習(xí)的遮擋情形下行人檢測在未來仍有較大的發(fā)展空間和應(yīng)用前景。首先，隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，基于深度學(xué)習(xí)的方法在檢測的準(zhǔn)確性、魯棒性和速度等方面都將得到進(jìn)一步的提高；其次，隨著自動駕駛、智能監(jiān)控等領(lǐng)域的發(fā)展，基于深度學(xué)習(xí)的遮擋情形下行人檢測將在未來扮演著越來越重要的角色，成為保障交通安全和提高智能化程度的關(guān)鍵技術(shù)之一。同時，隨著物聯(lián)網(wǎng)和云計算等技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的遮擋情形下行人檢測也將得到更加廣泛的應(yīng)用和普及，包括城市交通管理、公共安全監(jiān)控等領(lǐng)域。

綜上所述，基于深度學(xué)習(xí)的遮擋情形下行人檢測是一個充滿挑戰(zhàn)和機(jī)遇的領(lǐng)域，需要不斷探索和創(chuàng)新，才能不斷提高檢測的準(zhǔn)確性、魯棒性和效率，為人類社會的發(fā)展做出更大的貢獻(xiàn)。