杜啟亮 向照夷 田聯(lián)房，3

(1.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣東 廣州 510640；2.華南理工大學(xué) 自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510640；3.華南理工大學(xué) 珠?，F(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院，廣東 珠海 519175)

如今視頻監(jiān)控?cái)z像機(jī)分布在公共場(chǎng)所的各個(gè)角落，促使智能視頻監(jiān)控系統(tǒng)成為安防的主要手段，被廣泛運(yùn)用在商場(chǎng)、醫(yī)院、學(xué)校等場(chǎng)所。而客流量檢測(cè)是其重要的研究?jī)?nèi)容之一，對(duì)于智能安防、智慧旅游、交通規(guī)劃等領(lǐng)域的研究具有重要的意義[1-3]。

傳統(tǒng)監(jiān)控系統(tǒng)中的客流量統(tǒng)計(jì)任務(wù)大多是基于人工設(shè)計(jì)和提取特征完成的。李航等[4]通過提取俯視行人頭部的梯度范數(shù)(NG)和梯度方向直方圖(HOG)特征，使用支持向量機(jī)(SVM)完成乘客頭部檢測(cè)，并通過CamShift算法進(jìn)行乘客跟蹤來實(shí)現(xiàn)客流量統(tǒng)計(jì)。Haq等[5]為了提高運(yùn)行速度，只提取了HOG特征，并采用KLT(Kanade Lucas Tomasi)跟蹤器，同時(shí)手動(dòng)設(shè)定待檢測(cè)區(qū)域以減少運(yùn)算量。這些方法的特征表達(dá)能力弱，從而導(dǎo)致統(tǒng)計(jì)精度較低。杜啟亮等[6]使用表征能力更強(qiáng)的AdaBoost算法進(jìn)行頭部識(shí)別，利用Kalman算法進(jìn)行目標(biāo)跟蹤，但該算法只能從乘客正上方檢測(cè)頭部，應(yīng)用場(chǎng)景受到限制，且攝像機(jī)垂直向下的安裝方法導(dǎo)致獲取到的乘客信息大幅減少，不利于集成其他監(jiān)控任務(wù)。文獻(xiàn)[7-8]則通過檢測(cè)手扶電梯梯級(jí)上特征較為豐富的人臉進(jìn)行客流量統(tǒng)計(jì)，避免了限制攝像機(jī)安裝方式，然而在地鐵環(huán)境中通常乘客較為擁堵，后面的乘客易被前面乘客遮擋而影響跟蹤，造成人員的漏檢及客流量的錯(cuò)誤統(tǒng)計(jì)。因此，以上基于淺層學(xué)習(xí)的算法，雖然實(shí)時(shí)性較高，但人工特征過于簡(jiǎn)單，難以適應(yīng)復(fù)雜環(huán)境，統(tǒng)計(jì)準(zhǔn)確率不理想。

隨著神經(jīng)網(wǎng)絡(luò)的興起，深度學(xué)習(xí)相關(guān)方法不斷應(yīng)用于客流量統(tǒng)計(jì)任務(wù)中，相較于傳統(tǒng)方法可以自動(dòng)地從數(shù)據(jù)中提取有用的特征，解決了傳統(tǒng)手工特征表達(dá)能力不足的問題。朱林峰等[9]使用Faster R-CNN進(jìn)行人頭檢測(cè)，并利用全卷積孿生網(wǎng)絡(luò)(SiamFC)算法實(shí)現(xiàn)乘客跟蹤，客流量統(tǒng)計(jì)準(zhǔn)確率有較大的提升，但跟蹤過程只依賴于第一幀檢測(cè)結(jié)果，在目標(biāo)發(fā)生較大形變或遮擋時(shí)容易造成目標(biāo)丟失。Liu等[10]使用YOLOv2檢測(cè)乘客，并結(jié)合多示例學(xué)習(xí)(MIL)算法對(duì)乘客位置進(jìn)行預(yù)測(cè)，以重疊度作為數(shù)據(jù)關(guān)聯(lián)的依據(jù)實(shí)現(xiàn)乘客跟蹤與客流量統(tǒng)計(jì)，檢測(cè)速度有所提升但只適用于乘客稀疏的情況。沈爽[11]使用YOLOv3網(wǎng)絡(luò)進(jìn)行乘客檢測(cè)，并使用DeepSORT算法進(jìn)行跟蹤，利用連續(xù)多幀圖像間的特征相似度緩解乘客之間的遮擋問題，但跟蹤算法的時(shí)間復(fù)雜度大幅增加。Hsu等[12]使用單發(fā)多框檢測(cè)器(SSD)網(wǎng)絡(luò)對(duì)乘客頭部進(jìn)行檢測(cè)，提出了一種結(jié)合空間距離、外觀特征及運(yùn)動(dòng)模式的級(jí)聯(lián)數(shù)據(jù)關(guān)聯(lián)方法，解決了公交車環(huán)境下客流量統(tǒng)計(jì)的遮擋問題，但跟蹤算法較為復(fù)雜。Velastin等[13]證明了人頭跟蹤任務(wù)中未使用圖像特征的SORT算法要優(yōu)于DeepSORT算法，但未給出遮擋情況下的處理方法且人頭檢測(cè)模型過大。以上基于深度學(xué)習(xí)的算法主要依賴大型的網(wǎng)絡(luò)結(jié)構(gòu)來提高統(tǒng)計(jì)準(zhǔn)確率，存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)量大、運(yùn)行效率低的問題。

然而，算法的運(yùn)行環(huán)境并非都是高性能計(jì)算平臺(tái)，隨著邊緣設(shè)備的快速發(fā)展，社會(huì)上出現(xiàn)了越來越多的嵌入式設(shè)備，其憑借自身價(jià)格低、體積小等優(yōu)勢(shì)被各大公司廣泛使用，但也存在計(jì)算能力不及高性能服務(wù)器的缺點(diǎn)，無法實(shí)時(shí)運(yùn)行計(jì)算量很大的算法。

為了使客流量統(tǒng)計(jì)算法在保證統(tǒng)計(jì)準(zhǔn)確率的前提下，可以高效地運(yùn)行在嵌入式設(shè)備中，本文設(shè)計(jì)了一種面向嵌入式設(shè)備的扶梯客流量實(shí)時(shí)統(tǒng)計(jì)方法。該方法首先對(duì)手動(dòng)截取的感興趣區(qū)域(ROI)圖像進(jìn)行無失真縮放，以保持檢測(cè)圖像與訓(xùn)練樣本信息分布一致；然后搭建本文提出的YOLOv4-tiny-fast目標(biāo)檢測(cè)網(wǎng)絡(luò)，調(diào)整合適的參數(shù)進(jìn)行訓(xùn)練，并使用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行乘客人頭的實(shí)時(shí)檢測(cè)，使用改進(jìn)的目標(biāo)跟蹤算法獲得乘客的運(yùn)動(dòng)軌跡；最后根據(jù)乘客軌跡完成客流量統(tǒng)計(jì)任務(wù)，并與其他算法進(jìn)行了對(duì)比。

1 乘客檢測(cè)

1.1 圖像預(yù)處理

在輸入目標(biāo)檢測(cè)網(wǎng)絡(luò)之前，需要對(duì)輸入圖像進(jìn)行預(yù)處理。實(shí)際環(huán)境中，相機(jī)的高度無法固定，采集到的圖像與訓(xùn)練集差別較大，易導(dǎo)致檢測(cè)效果變差。為避免無關(guān)信息對(duì)乘客跟蹤計(jì)數(shù)的影響，應(yīng)該對(duì)不同場(chǎng)景下相機(jī)采集到的原圖像手動(dòng)選定乘客檢測(cè)區(qū)域ROI，盡可能地不引入非計(jì)數(shù)目標(biāo)。

由于ROI的長(zhǎng)寬無法固定，而輸入檢測(cè)模型的圖像I1長(zhǎng)寬固定，且必須是32的整數(shù)倍，如果強(qiáng)行改變ROI圖像的大小為模型所需輸入大小，必將產(chǎn)生拉伸失真，從而導(dǎo)致測(cè)試圖像與訓(xùn)練樣本圖像信息的不一致，無法充分發(fā)揮檢測(cè)模型的性能，因此本文提出了一種無失真縮放的圖像預(yù)處理方法：固定I1的尺寸，將ROI圖像的長(zhǎng)寬以相同的比例縮放并粘貼至I1中心，未鋪滿區(qū)域使用中值填充，處理效果見圖1?？梢钥闯?，該縮放方法得到的圖像無拉伸失真，保證了處理前后圖像信息的分布一致性，排除了圖像失真對(duì)檢測(cè)模型準(zhǔn)確率的影響，為后續(xù)對(duì)檢測(cè)模型的優(yōu)化打下基礎(chǔ)。該處理方法與手動(dòng)ROI選取相結(jié)合，在不同場(chǎng)景、不同ROI尺寸下都可以獲得相同大小的圖像，保證了輸入檢測(cè)模型的圖像尺寸固定，且在圖像不發(fā)生形變的前提下，去除了大量的無關(guān)噪聲，大幅減少運(yùn)算量，提高檢測(cè)效果。

圖1 圖像預(yù)處理效果Fig.1 Preprocessing effect of image

1.2 YOLOv4-tiny-fast網(wǎng)絡(luò)

相比傳統(tǒng)特征提取方法，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法具有適應(yīng)性強(qiáng)、檢測(cè)精度高等優(yōu)點(diǎn)。相較于二階段模型，一階段檢測(cè)算法通常具有更快的檢測(cè)速度，但由于YOLO的深層次結(jié)構(gòu)和巨大的參數(shù)量，各種輕量級(jí)網(wǎng)絡(luò)(YOLO-tiny[14]和YOLO Nano[15]等)被提出。YOLOv4-tiny是最新的YOLO輕量級(jí)網(wǎng)絡(luò)，相比YOLOv3-tiny主要增加了跨階段局部(CSP)網(wǎng)絡(luò)結(jié)構(gòu)[16]，將基礎(chǔ)層的特征映射劃分為兩部分，通過跨層連接將它們合并，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，在減少計(jì)算量的同時(shí)可以保證準(zhǔn)確率?？紤]到嵌入式設(shè)備的算力條件及算法的使用場(chǎng)景，本文對(duì)YOLOv4-tiny進(jìn)行優(yōu)化，提出了YOLOv4-tiny-fast網(wǎng)絡(luò)。

在YOLOv4-tiny每個(gè)CSP結(jié)構(gòu)之前及最后一個(gè)池化層之后各添加一個(gè)Reduce模塊。Reduce模塊主要由1×1卷積、批歸一化(BN)層和h-swish激活函數(shù)組成，通過卷積層將通道數(shù)進(jìn)行減半壓縮，同時(shí)去除無用的通道特征，減少模型參數(shù)量。h-swish激活函數(shù)hswish(·)則是利用ReLU6函數(shù)R(·)近似swish函數(shù)[17]，使其保留了非線性激活函數(shù)的擬合能力，且方便在嵌入式設(shè)備端運(yùn)算，既保證運(yùn)算效率，又提高模型性能，其實(shí)現(xiàn)公式如下：

(1)

同時(shí)使用深度卷積和點(diǎn)卷積(Dwise)替代網(wǎng)絡(luò)中部分傳統(tǒng)的3×3卷積。Dwise與傳統(tǒng)卷積的參數(shù)量比率為

(2)

其中，N為輸出特征圖通道數(shù)，DK為卷積核的大小?？梢缘贸?，對(duì)于3×3卷積，參數(shù)量近似縮減為原來的1/9[18]。將CSP和CBL(Conv+BN+LeakyReLU)結(jié)構(gòu)中的傳統(tǒng)卷積替換為Dwise，并分別記為DCSP和DCBL，以降低模型推理復(fù)雜度，確保在無GPU的嵌入式設(shè)備平臺(tái)可滿足實(shí)時(shí)性，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLOv4-tiny-fast網(wǎng)絡(luò)的結(jié)構(gòu)Fig.2 Structure of YOLOv4-tiny-fast network

2 乘客跟蹤

2.1 目標(biāo)跟蹤算法

多目標(biāo)跟蹤算法是計(jì)算機(jī)視覺的一項(xiàng)重要研究?jī)?nèi)容，在各種技術(shù)中有著廣泛的運(yùn)用。跟蹤算法極大地影響著客流量統(tǒng)計(jì)的效果。基于卡爾曼濾波的跟蹤算法[19-20]只利用了檢測(cè)框的位置及寬度信息，對(duì)檢測(cè)結(jié)果的依賴過高；基于深度學(xué)習(xí)的目標(biāo)跟蹤算法[21-23]利用了多種圖像特征，在檢測(cè)出第一幀圖像中的目標(biāo)后可以不再依賴檢測(cè)器直接對(duì)目標(biāo)進(jìn)行跟蹤，精度高，但計(jì)算復(fù)雜，部署在嵌入式設(shè)備時(shí)實(shí)時(shí)性差。

最小輸出平方誤差和(MOSSE)算法[24]是先以上一幀檢測(cè)到的目標(biāo)圖像作為模板，與當(dāng)前幀對(duì)應(yīng)的候選區(qū)域圖像進(jìn)行卷積操作，并選取響應(yīng)最大的位置作為當(dāng)前幀的預(yù)測(cè)結(jié)果，更新模板后再進(jìn)行下一幀的預(yù)測(cè)，當(dāng)候選區(qū)域無較高響應(yīng)時(shí)，視為跟蹤結(jié)束。該算法提取圖像特征的速度快，且本文場(chǎng)景下的目標(biāo)特征較為簡(jiǎn)單，故該算法足以取得較好的跟蹤精度。

使用檢測(cè)網(wǎng)絡(luò)得到第一幀乘客人頭位置框，將其作為MOSSE算法的初始模板，跟蹤效果如圖3所示，可以看出基本完成了跟蹤任務(wù)，但檢測(cè)框形狀始終不變，不能很好地適應(yīng)人頭的變化，并且中心已經(jīng)偏移目標(biāo)。

圖3 MOSSE算法的跟蹤效果Fig.3 Tracking effect of MOSSE algorithm

2.2 結(jié)合檢測(cè)結(jié)果的目標(biāo)跟蹤算法

由2.1節(jié)可知，當(dāng)跟蹤目標(biāo)的形狀、顏色等特征發(fā)生變化時(shí)，MOSSE算法的預(yù)測(cè)結(jié)果會(huì)逐漸偏離，導(dǎo)致跟蹤失敗。鑒于目標(biāo)檢測(cè)網(wǎng)絡(luò)較好的檢測(cè)性能，利用每幀的檢測(cè)結(jié)果對(duì)MOSSE模板進(jìn)行更新，以抑制誤差累計(jì)，提高算法的預(yù)測(cè)精度。

將檢測(cè)結(jié)果與預(yù)測(cè)結(jié)果一一對(duì)應(yīng)，實(shí)現(xiàn)目標(biāo)編號(hào)及MOSSE模板更新的過程可視為一對(duì)一匹配任務(wù)，因此可考慮結(jié)合KM算法[25]實(shí)現(xiàn)目標(biāo)跟蹤。

2.2.1 優(yōu)化矩陣

KM算法匹配的核心依據(jù)為優(yōu)化矩陣，優(yōu)化矩陣的各個(gè)元素反映了兩個(gè)目標(biāo)間的相似度，該值越高，二者越有可能匹配成功。Bewley等[26]使用目標(biāo)間的交并比(IoU)距離來計(jì)算優(yōu)化矩陣，但對(duì)于所有無交集的目標(biāo)對(duì)，其值完全相同，造成相似度飽和，沒有區(qū)分度，不利于后續(xù)匹配過程的參數(shù)選??；Wojke等[27]在優(yōu)化矩陣中引入目標(biāo)間的圖像特征相似度，但圖像特征的提取也導(dǎo)致運(yùn)算量的大幅增加，增大了嵌入式設(shè)備的運(yùn)算負(fù)擔(dān)。因此，針對(duì)以上問題，本文設(shè)計(jì)了一種適用于嵌入式設(shè)備算力的優(yōu)化矩陣，矩陣中元素dji代表檢測(cè)框j與跟蹤框i的相似度，dji計(jì)算方法為

(3)

dji=(Dji+1)/2

(4)

式中：Ls為檢測(cè)框和跟蹤框中心點(diǎn)之間的距離；L1為能夠同時(shí)覆蓋檢測(cè)框和跟蹤框的最小矩形的對(duì)角線距離，如圖4所示。

圖4 相似度計(jì)算示意圖Fig.4 Schematic diagram of similarity calculation

Dji的第一部分為目標(biāo)之間的重疊度，反映二者的形狀相似度，目標(biāo)靠近時(shí)二者的相似度快速增加；第二部分為目標(biāo)中心點(diǎn)之間的距離，即距離相似度，保證目標(biāo)之間無重疊時(shí)依然可以準(zhǔn)確地計(jì)算相似度，避免目標(biāo)移動(dòng)過快時(shí)無法利用重疊度匹配目標(biāo)。式(4)對(duì)Dji進(jìn)行歸一化，使dji∈[0,1]，得到匹配所需的優(yōu)化矩陣。該優(yōu)化矩陣計(jì)算簡(jiǎn)單，可以在嵌入式設(shè)備平臺(tái)快速運(yùn)行，且避免了相似度飽和問題。

2.2.2 優(yōu)化矩陣裁剪

KM算法在兩組數(shù)據(jù)元素?cái)?shù)目相同且兩兩之間的相似度不為0時(shí)，可以對(duì)所有元素實(shí)現(xiàn)一對(duì)一匹配。假設(shè)跟蹤框A、B與檢測(cè)框C、D的位置如圖5所示，則由式(3)、(4)可得此時(shí)的優(yōu)化矩陣為

圖5 優(yōu)化矩陣計(jì)算示意圖Fig.5 Schematic diagram of optimization matrix calculation

AB

C

根據(jù)KM算法，最終的匹配結(jié)果是A-C和B-D。顯然B、D不應(yīng)匹配成功，此時(shí)應(yīng)該將跟蹤框B視為跟蹤丟失的目標(biāo)，將檢測(cè)框D視為新增的目標(biāo)。為此，本文對(duì)優(yōu)化矩陣算法進(jìn)行修改，在匹配之前裁剪優(yōu)化矩陣。對(duì)于M行N列優(yōu)化矩陣E，若第i列滿足

?k∈[1,M],Eki

(5)

則刪除E中的第i列，其中Eki為E的第k行第i列的值，Ethres為相似度閾值。同理，若第j行滿足

?k∈[1,N],Ejk

(6)

則刪除E中的第j行，得到裁剪后的優(yōu)化矩陣。

被剔除的行與列直接視其匹配失敗，并將裁剪后的優(yōu)化矩陣用于KM匹配，既保證了匹配的合理性，又減少了匹配的時(shí)間復(fù)雜度。

2.2.3 遮擋處理

上述優(yōu)化矩陣裁剪方法無法處理遮擋情況，即當(dāng)某個(gè)跟蹤目標(biāo)被遮擋時(shí)，該跟蹤目標(biāo)會(huì)被視為丟失，影響客流量統(tǒng)計(jì)結(jié)果。朱林峰等[9]通過將當(dāng)前幀檢測(cè)框與過往幀跟蹤框的外觀特征進(jìn)行對(duì)比來解決該問題，但對(duì)于外觀特征相似的乘客頭部，該方法的檢測(cè)效果不明顯，且需要消耗大量的計(jì)算資源，無法在性能較差的嵌入式設(shè)備平臺(tái)實(shí)現(xiàn)實(shí)時(shí)運(yùn)算。

通常在手扶電梯出入口處，由于靠近攝像機(jī)一側(cè)的乘客頭部較大，易對(duì)遠(yuǎn)處較小的乘客頭部造成遮擋。根據(jù)這一特點(diǎn)，本文提出了一種遮擋處理方法，即利用已經(jīng)獲得的相似度矩陣對(duì)匹配失敗的跟蹤框進(jìn)行二次匹配來完成對(duì)遮擋目標(biāo)的跟蹤。在獲得檢測(cè)框j與跟蹤框i的相似度dji、檢測(cè)框數(shù)目M的情況下，對(duì)于匹配失敗的跟蹤框i，根據(jù)

(7)

該方法允許部分檢測(cè)框匹配多個(gè)跟蹤框，當(dāng)被遮擋目標(biāo)重新出現(xiàn)時(shí)，可以自動(dòng)實(shí)現(xiàn)對(duì)遮擋目標(biāo)的持續(xù)跟蹤，緩解了KM算法只能一對(duì)一匹配造成乘客漏檢的問題，且算法復(fù)雜度低，幾乎沒有增加過多的計(jì)算開銷。

2.2.4 置信度策略

考慮到可能存在短暫的跟蹤或檢測(cè)失敗的情況，為保持跟蹤的連續(xù)性，本文提出了置信度策略。為每個(gè)目標(biāo)設(shè)定置信度，初始值為0，處理完一幀圖像后，提高跟蹤成功目標(biāo)的置信度，降低跟蹤失敗目標(biāo)的置信度。若置信度低于設(shè)定閾值Cthres，則視該目標(biāo)完全離開監(jiān)控范圍。

對(duì)于跟蹤目標(biāo)i，其在第t幀的置信度為

(8)

該策略在目標(biāo)出現(xiàn)時(shí)以對(duì)數(shù)規(guī)律緩慢增加置信度，在目標(biāo)連續(xù)丟失時(shí)以指數(shù)規(guī)律快速衰減置信度以濾除短暫出現(xiàn)的誤檢目標(biāo)。由于Cthres固定，在上述規(guī)則下人員若長(zhǎng)時(shí)間逗留則無法及時(shí)視其離開，對(duì)后續(xù)其他目標(biāo)的跟蹤造成影響，為此設(shè)定ND,thres來強(qiáng)制剔除長(zhǎng)時(shí)間跟蹤失敗的目標(biāo)。

2.2.5 客流量統(tǒng)計(jì)流程

圖6 本文客流量統(tǒng)計(jì)算法流程圖Fig.6 Flow chart of the proposed passenger flow statistics algorithm

1)t=0時(shí)H0=D0。

3)根據(jù)式(3)、式(4)計(jì)算Pt和Dt各個(gè)元素間的相似度，得到一個(gè)J行I列的優(yōu)化矩陣E。

4)依據(jù)式(5)、式(6)對(duì)E進(jìn)行裁剪，將剔除的行號(hào)加入集合R(代表新進(jìn)入監(jiān)控畫面的目標(biāo))，將剔除的列號(hào)加入集合C(代表將要離開監(jiān)控畫面的目標(biāo))，裁剪后的距離矩陣記為Ecut。

6)將R中所有目標(biāo)添加至Ht中，依據(jù)式(8)增加R中目標(biāo)及跟蹤成功目標(biāo)的置信度，衰減C中目標(biāo)的置信度，并結(jié)合Cthres判定目標(biāo)是否離開監(jiān)控范圍內(nèi)。

7)利用單線計(jì)數(shù)法[6]，依據(jù)乘客的運(yùn)行軌跡判斷乘客出入，以完成客流量統(tǒng)計(jì)。

其中，步驟1)至步驟6)即為本文的跟蹤算法，該算法的跟蹤效果如圖7所示，對(duì)比圖3可以看出，本文算法對(duì)人頭的跟蹤位置更加精確，可以準(zhǔn)確反映出乘客頭部的位置。

圖7 本文算法的跟蹤效果Fig.7 Tracking effect of the proposed algorithm in this paper

在實(shí)驗(yàn)平臺(tái)上運(yùn)行本文算法，不同手扶電梯出入口的實(shí)際運(yùn)行效果如圖8所示，其中使用ROI內(nèi)的圖像進(jìn)行乘客軌跡跟蹤，以中間的客流量統(tǒng)計(jì)線為基準(zhǔn)，使用單線計(jì)數(shù)法進(jìn)行客流量統(tǒng)計(jì)，圖中左上角實(shí)時(shí)記錄當(dāng)前手扶電梯口出入客流量(ppIn/ppOut)、30 s內(nèi)的動(dòng)態(tài)客流量(pp30s)、處理速度(fps)等信息。

圖8 手扶電梯出入口的處理效果Fig.8 Treatment effect of escalator’s entrance and exit

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

本文所指的嵌入式設(shè)備是指可以運(yùn)行Linux系統(tǒng)的低性能微型計(jì)算機(jī)，可以配置TensorFlow、PyTorch等深度學(xué)習(xí)框架及Python、C++開發(fā)環(huán)境。本文實(shí)驗(yàn)硬件環(huán)境為Jetson AGX Xavier平臺(tái)，用以驗(yàn)證該方法在嵌入式平臺(tái)上的性能。使用Ubuntu18.04操作系統(tǒng)，主要的系統(tǒng)環(huán)境為Python3.7、OpenCV4.2、PyTorch1.6。程序主體使用C++編寫，使用PyTorch搭建檢測(cè)網(wǎng)絡(luò)并轉(zhuǎn)化為ONNX模型，使用OpenCV讀取該模型用于推理，以方便程序的維護(hù)。同時(shí)，開啟平臺(tái)的最大電源功耗模式，以考查嵌入式平臺(tái)下的極限處理速度。

3.2 評(píng)價(jià)指標(biāo)

針對(duì)檢測(cè)網(wǎng)絡(luò)算法，本文采用廣泛使用的平均精度均值(mAP)、參數(shù)量和每秒處理幀數(shù)(FPS)作為基準(zhǔn)指標(biāo)來驗(yàn)證所提算法的有效性。針對(duì)跟蹤算法，以客流量統(tǒng)計(jì)準(zhǔn)確度(acc)、FPS為基準(zhǔn)指標(biāo)。統(tǒng)計(jì)準(zhǔn)確度的計(jì)算方法為

(9)

式中，NIN,T、NIN,D分別為從上往下進(jìn)入的實(shí)際人數(shù)和測(cè)量人數(shù)，NOUT,T、NOUT,D分別為從下往上出去的實(shí)際人數(shù)和測(cè)量人數(shù)。

3.3 檢測(cè)算法性能分析

分別截取不同手扶電梯出入口不同時(shí)刻的監(jiān)控視頻，并挑取關(guān)鍵幀手動(dòng)標(biāo)注圖中所有乘客的頭部位置,共得到訓(xùn)練集圖像5 000幅，驗(yàn)證集圖像500幅，測(cè)試集圖像500幅。

使用4種檢測(cè)算法(YOLOv4-tiny算法、添加Reduce模塊的YOLOv4-tiny-Reduce算法、將YOLOv4-tiny中的卷積全部替換為Dwise的YOLOv4-tiny-Dwise算法和YOLOv4-tiny-fast算法)進(jìn)行實(shí)驗(yàn)，將輸入圖像大小統(tǒng)一調(diào)整為416×416，使用Adam優(yōu)化器，學(xué)習(xí)率初始值為0.001，并逐次遞減，共迭代訓(xùn)練100次。以在驗(yàn)證集上性能最優(yōu)的模型來對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，各檢測(cè)算法的預(yù)測(cè)結(jié)果如表1所示。從表中可知，Reduce結(jié)構(gòu)在減少參數(shù)量的同時(shí)提高了模型的檢測(cè)精確度。將網(wǎng)絡(luò)模型中的所有卷積全部替換為Dwise，雖然可以大幅減少參數(shù)量，但也造成了檢測(cè)精確度的較大損失。本文提出的YOLOv4-tiny-fast模型與YOLOv4-tiny相比，mAP值有小幅提升，模型參數(shù)減少了59%，且檢測(cè)速度提升了31%，更適合部署在嵌入式設(shè)備上。

表1 檢測(cè)算法的性能對(duì)比Table 1 Performance comparison of detection algorithms

YOLOv4-tiny和YOLOv4-tiny-fast網(wǎng)絡(luò)在公開數(shù)據(jù)集SCUT-HEAD[28]、Brainwash[29]上的性能對(duì)比如表2所示，其中SCUT-HEAD包含A組校園室內(nèi)數(shù)據(jù)和B組網(wǎng)絡(luò)爬蟲數(shù)據(jù)，Brainwash為咖啡廳內(nèi)

表2 YOLOv4-tiny和YOLOv4-tiny-fast網(wǎng)絡(luò)在不同數(shù)據(jù)集下的性能對(duì)比Table 2 Performance comparison of YOLOv4-tiny and YOLOv4-tiny-fast with different datasets

的人員頭部數(shù)據(jù)。表2表明，本文所提檢測(cè)算法在復(fù)雜數(shù)據(jù)集上的擬合能力相對(duì)于YOLOv4-tiny網(wǎng)絡(luò)差距不大，但模型參數(shù)量更小，推理速度更快。

為驗(yàn)證圖像失真對(duì)算法檢測(cè)性能的影響，對(duì)驗(yàn)證集分別使用普通縮放方法和本文預(yù)處理方法縮放到(416,416)、(416,448)、(416,512)、(416,544)、(416,608)、(416,672)、(416,736)、(416,768)、(416,832)大小，以模擬實(shí)際環(huán)境下不同的ROI尺寸，各種情況的檢測(cè)精度如圖9所示。

圖9 圖像失真影響對(duì)比圖Fig.9 Comparison of the effect of image distortion

可以看出，隨著圖像失真程度的增加，縮放操作的檢測(cè)效果逐漸變差，而本文算法的檢測(cè)精度不受影響，性能穩(wěn)定，說明該算法可以在ROI尺度變化時(shí)保證模型的檢測(cè)效果，適用于測(cè)試環(huán)境復(fù)雜、檢測(cè)區(qū)域不固定的場(chǎng)景。

3.4 跟蹤算法性能分析

為探究本文所提跟蹤算法對(duì)最終客流統(tǒng)計(jì)準(zhǔn)確度的影響，截取同一車站多個(gè)時(shí)間段的監(jiān)控視頻，拼接在一起組成最終的測(cè)試視頻，在該視頻的基礎(chǔ)上進(jìn)行相應(yīng)的消融實(shí)驗(yàn)以探究跟蹤算法各部分的影響。不同優(yōu)化矩陣計(jì)算方法對(duì)客流量統(tǒng)計(jì)準(zhǔn)確度的影響如表3所示，可以看出：將IoU作為相似度的優(yōu)化矩陣準(zhǔn)確度最低，主要是因?yàn)樵诔丝瓦\(yùn)動(dòng)速度較快時(shí)，IoU將變?yōu)?，無法準(zhǔn)確反映檢測(cè)目標(biāo)與跟蹤目標(biāo)之間的相似度；廣義交并比(GIoU)雖然避免了相似度為0的情況，但acc仍低于本文算法，說明本文算法的相似度度量標(biāo)準(zhǔn)更為合理。

在測(cè)試視頻中不同相似度閾值對(duì)統(tǒng)計(jì)準(zhǔn)確度的影響如圖10所示。當(dāng)相似度閾值為0，即不對(duì)優(yōu)化閾值進(jìn)行裁剪時(shí)，準(zhǔn)確度只有55.53%；隨著閾值的不斷提高，準(zhǔn)確度整體呈現(xiàn)先增后減的趨勢(shì)，當(dāng)閾值為0.6時(shí)準(zhǔn)確度達(dá)到最高值98.08%，說明優(yōu)化矩陣裁剪策略較大程度地提升了跟蹤準(zhǔn)確度。

遮擋處理對(duì)本文算法跟蹤性能的影響如表4所示，由表中可知，相比無遮擋處理，對(duì)跟蹤框的二次匹配在一定程度上減少了漏檢的乘客數(shù)量，進(jìn)而提高了跟蹤準(zhǔn)確度，說明該處理方法可以有效緩解乘客跟蹤過程中的目標(biāo)遮擋情況。

表4 遮擋處理對(duì)本文算法跟蹤性能的影響Table 4 Effect of occlusion processing on the tracking perfor-mance of the proposed algorithms in this paper

置信度策略對(duì)本文算法跟蹤性能的影響如表5所示?？梢钥闯?，未使用置信度策略時(shí)，漏檢數(shù)大幅增加，統(tǒng)計(jì)準(zhǔn)確度較低。究其原因，在檢測(cè)過程中會(huì)出現(xiàn)目標(biāo)的漏檢，導(dǎo)致目標(biāo)軌跡不連續(xù)，進(jìn)而影響客流量統(tǒng)計(jì)，而置信度策略相當(dāng)于起到了一個(gè)緩沖的作用，可以在短暫目標(biāo)丟失的情況下保證軌跡的連續(xù)性，提高了統(tǒng)計(jì)準(zhǔn)確度。

表5 置信度策略對(duì)本文算法跟蹤性能的影響Table 5 Effect of confidence strategy on the tracking perfor-mance of the algorithm in this paper

3.5 多場(chǎng)景下算法性能分析

為分析所提面向嵌入式設(shè)備的扶梯客流量實(shí)時(shí)統(tǒng)計(jì)方法的性能，本文截取不同車站、不同時(shí)間、不同密度下共16段手扶電梯出入口的視頻序列進(jìn)行實(shí)驗(yàn)分析，測(cè)試視頻部分截圖如圖11所示，各子圖中左上角數(shù)字為視頻編號(hào)，如視頻1對(duì)應(yīng)編號(hào)為1的視頻序列，表示其在傍晚時(shí)分拍攝于車站1的扶梯入口處，其余視頻特點(diǎn)可依次類推。車站1、2的視頻(見表6)拍攝于地面出入口，在白天和傍晚的光照條件會(huì)發(fā)生變化，而進(jìn)站出站人員相對(duì)比較分散，不易出現(xiàn)擁擠情況，因此用于探究不同時(shí)間段即不同光照條件對(duì)算法性能的影響。車站3、4的視頻(見表7)拍攝于地鐵內(nèi)部，光照穩(wěn)定，而乘客上下扶梯較為集中，易出現(xiàn)乘客擁擠情況，因此用于探究不同客流密度對(duì)算法的影響。

圖11 測(cè)試視頻截圖Fig.11 Screenshot of test video

表6 視頻特點(diǎn)說明1Table 6 Video feature description 1

表7 視頻特點(diǎn)說明2Table 7 Video feature description 2

使用本文方法對(duì)上述16段測(cè)試視頻的統(tǒng)計(jì)結(jié)果如表8、表9所示，從表8中可以看出，扶梯入口處的97.11%檢測(cè)準(zhǔn)確度要優(yōu)于出口處的96.19%，主要由于面部特征相較于背部特征更加復(fù)雜，檢測(cè)難度更大，更容易造成漏檢問題。

表8 扶梯入口處客流統(tǒng)計(jì)結(jié)果Table 8 Passenger flow statistics at the entrance of escalator

表9 扶梯出口處客流統(tǒng)計(jì)結(jié)果Table 9 Passenger flow statistics at the exit of escalator

對(duì)比視頻1和2、3和4、5和6、7和8的檢測(cè)結(jié)果可以看出，白天由于光照更加充足，更容易分辨出乘客頭部，漏檢數(shù)略低，而傍晚光照略暗，不利于乘客的檢測(cè)，客流量統(tǒng)計(jì)準(zhǔn)確度略有下降。

對(duì)比視頻9和10、11和12、13和14、15和16的檢測(cè)結(jié)果可以看出，稀疏情況下的統(tǒng)計(jì)準(zhǔn)確度要高于擁擠情況下，主要是由于跟蹤過程中遮擋情況的出現(xiàn)對(duì)統(tǒng)計(jì)準(zhǔn)確度產(chǎn)生了一定的影響，但最低準(zhǔn)確度依然達(dá)到94.55%，反映了本文算法對(duì)擁擠情況仍具有良好的統(tǒng)計(jì)性能。

16段測(cè)試視頻的平均統(tǒng)計(jì)準(zhǔn)確度達(dá)到96.66%，說明了本文算法在不同車站、不同時(shí)間段、不同客流密度下仍然可以保持良好的客流統(tǒng)計(jì)效果。

3.6 與其他方法的統(tǒng)計(jì)性能對(duì)比

為進(jìn)一步分析本文扶梯客流量實(shí)時(shí)統(tǒng)計(jì)方法的性能，使用本文方法和其他方法在上述16段測(cè)試視頻上進(jìn)行測(cè)試，并計(jì)算出對(duì)應(yīng)的客流量統(tǒng)計(jì)準(zhǔn)確度，結(jié)果如表10所示。相對(duì)于使用傳統(tǒng)特征檢測(cè)乘客的方法，本文方法的統(tǒng)計(jì)準(zhǔn)確度具有較大的提升，檢測(cè)速度也有一定的提高；相對(duì)于使用深度學(xué)習(xí)網(wǎng)絡(luò)的算法，由于檢測(cè)算法參數(shù)量和跟蹤算法復(fù)雜度的降低，整體處理速度大幅提高，且統(tǒng)計(jì)準(zhǔn)確度也有一定的增加。這是因?yàn)閷?shí)驗(yàn)環(huán)境較為單一，不必使用大型檢測(cè)網(wǎng)絡(luò)，而且乘客頭部特征較為相似，使得嚴(yán)重依賴圖像特征的深度學(xué)習(xí)跟蹤算法在該實(shí)驗(yàn)環(huán)境下的性能表現(xiàn)不佳，也導(dǎo)致試圖依靠圖像特征來解決遮擋問題的方法難以產(chǎn)生良好的效果。文獻(xiàn)[30]方法雖然對(duì)檢測(cè)模型進(jìn)行了輕量化，檢測(cè)速度有所提高，但未對(duì)遮擋情況進(jìn)行處理，因此客流量的統(tǒng)計(jì)準(zhǔn)確度較低。本文方法通過對(duì)檢測(cè)及跟蹤算法的改進(jìn)，使其在嵌入式設(shè)備上達(dá)到了96.66%的統(tǒng)計(jì)準(zhǔn)確度和25 f/s的處理速度。

表10 幾種方法的統(tǒng)計(jì)性能對(duì)比Table 10 Comparison of the statistical performance of several methods

4 結(jié)語

本文設(shè)計(jì)了一種無失真縮放方法，使得不同長(zhǎng)寬比的客流量統(tǒng)計(jì)區(qū)域擁有相同的檢測(cè)效果，相比傳統(tǒng)縮放方法效果更優(yōu)；提出了用于檢測(cè)乘客頭部的YOLOv4-tiny-fast模型，其檢測(cè)準(zhǔn)確率在SCUT-HEAD和Brainwash數(shù)據(jù)集上與YOLOv4-tiny相當(dāng)，但模型大小減少了59%，推理速度提高了31%；提出了一種結(jié)合自定義優(yōu)化矩陣及遮擋處理的匹配算法，測(cè)試視頻的目標(biāo)跟蹤結(jié)果取得了96.66%的平均統(tǒng)計(jì)準(zhǔn)確率；本文所提出的面向嵌入式設(shè)備的扶梯客流量實(shí)時(shí)統(tǒng)計(jì)方法在不使用GPU加速的情況下達(dá)到每秒25幀的檢測(cè)速度，適合部署在性能較低的嵌入式設(shè)備平臺(tái)，與已有的客流量統(tǒng)計(jì)算法相比具有較大的優(yōu)勢(shì)，對(duì)實(shí)際場(chǎng)景下的扶梯實(shí)時(shí)視頻監(jiān)控具有重要的意義。