熊壽禹 陶青川 戴亞峰

(四川大學(xué)電子信息學(xué)院 四川 成都 610065)

0 引 言

社會的快速發(fā)展和城市的高度建設(shè)，給社會、城市的安全管理帶來了難題。傳統(tǒng)的視頻監(jiān)控系統(tǒng)將前端視頻信息實(shí)時傳送至中心端，呈現(xiàn)在顯示屏上，再通過人工來對視頻進(jìn)行內(nèi)容分析、監(jiān)控警報。由于城市的建設(shè)，安防監(jiān)控區(qū)域的不斷擴(kuò)大、攝像頭的數(shù)目日益增長，通過人工進(jìn)行視頻監(jiān)管成本急劇升高，導(dǎo)致實(shí)時監(jiān)控報警得到不到保障。因此采用智能分析系統(tǒng)對監(jiān)控視頻進(jìn)行實(shí)時、有效、穩(wěn)定的監(jiān)控具有重大意義[1]。

行人檢測是視頻智能監(jiān)控的關(guān)鍵應(yīng)用領(lǐng)域之一。由于人體各部分有極高的自由度，做出不同動作時，人體姿態(tài)會發(fā)生較大變化。其次，由于行人身上所穿衣物款式、顏色以及帽子、挎包等裝飾品的不同，使人體目標(biāo)的外觀有著極大的差異。針對這些問題，前人做出了不同的嘗試：在特征提取方面，提出了Haar-like特征[2]、梯度直方圖(Histogram of Oriented Gradient，HOG)[3]特征等；在分類器選擇方面，具有代表性的有支持向量機(jī)(Support Vector Machine，SVM)[4]、隨機(jī)森林(Random Forest，RF)[5]等。但這些方法均存在著泛化能力差、需要手工設(shè)計提取特征等缺點(diǎn)，在實(shí)際應(yīng)用中效果較差[6]。

如今，人工智能發(fā)展迅速，在機(jī)器視覺、語音識別以及自然語言處理等方面獲得了顯著效果。深度學(xué)習(xí)作為人工智能的重要分支之一，在計算機(jī)視覺中的目標(biāo)檢測方面有著重大突破[7]。深度學(xué)習(xí)使用卷積神經(jīng)網(wǎng)絡(luò)來對目標(biāo)進(jìn)行特征提取，再利用提取的特征信息，對圖像中的目標(biāo)進(jìn)行定位與分類[8]。卷積神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率與模型堆疊的層數(shù)以及每一層網(wǎng)絡(luò)的寬度成正比。由于卷積神經(jīng)網(wǎng)絡(luò)復(fù)雜度過大，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)在前端部署時受到嵌入式設(shè)備計算速度、計算能力、內(nèi)存空間諸多方面的限制。

本文將前端嵌入式與人工智能相結(jié)合，將智能分析系統(tǒng)由中心端移至前端“邊緣”設(shè)備中，極大減小了中心端對多路視頻信號的計算壓力；使用深度學(xué)習(xí)方法來對行人進(jìn)行檢測定位，代替?zhèn)鹘y(tǒng)方法所使用的HOG特征提取器加SVM分類器所結(jié)合的方法，改善了在行人在較大形變，與背景較為復(fù)雜的環(huán)境下準(zhǔn)確率低、穩(wěn)定性差的問題；提出一種輕量級目標(biāo)檢測網(wǎng)絡(luò)框架，減少大量的神經(jīng)網(wǎng)絡(luò)參數(shù)個數(shù)，降低了卷積神經(jīng)網(wǎng)絡(luò)對前端嵌入式設(shè)備計算能力、內(nèi)存空間的需求[9]。

1 相關(guān)知識

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法

文獻(xiàn)[10]提出了YOLO網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)將物體檢測作為一個回歸問題進(jìn)行求解,輸入圖像經(jīng)過一次處理,便能得到圖像中所有對象的位置和其所屬類別及相應(yīng)的置信度，檢測速度可達(dá)到45幀/s，使得實(shí)時檢測成為可能。但YOLO的mAP僅有63.4%[10]，存在著檢測精度較低以及小目標(biāo)檢測效果較差的問題。

文獻(xiàn)[11]提出SSD網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)合了YOLO的回歸思想以及Faster RCNN的anchor機(jī)制。與YOLO算法不同，SSD算法沒有使用完整的特征圖的信息來回歸所有位置信息，而是使用了大量的3×3卷積核計算小區(qū)域特征來回歸各個檢測框的坐標(biāo)信息，提高了定位的準(zhǔn)確性。SSD使用了5個大小不同的卷積層來對尺寸不同的物體進(jìn)行檢測，在不同的特征圖上使用長寬比不同的anchor，以適應(yīng)特征圖不同的分辨率，最終達(dá)到了72.1%的mAP和58幀/s的速度[11]。但是SSD網(wǎng)絡(luò)框架的參數(shù)個數(shù)依舊較多，將其移植進(jìn)前端嵌入式設(shè)備還存在較大差距。

文獻(xiàn)[12]針對移動端和嵌入式深度學(xué)習(xí)網(wǎng)絡(luò)提出一類稱為MobileNets的高效模型。MobileNets模型基于深度可分解的卷積，它可以將標(biāo)準(zhǔn)卷積分解成一個深度卷積和一個點(diǎn)卷積(1×1卷積核)，這種分解可以有效減少參數(shù)量，降低計算量[12]。SSD結(jié)合深度可分解卷積得到Mobile-SSD，該網(wǎng)絡(luò)在SSD的基礎(chǔ)上將網(wǎng)絡(luò)權(quán)值減小了90%，計算速度也大大提升。但在條件較為苛刻的嵌入式前端，該網(wǎng)絡(luò)依舊很難達(dá)到實(shí)時檢測的效果。

1.2 深度殘差網(wǎng)絡(luò)

對于簡單堆疊的卷積神經(jīng)網(wǎng)絡(luò)，由于網(wǎng)絡(luò)的不斷加深，梯度消失問題會越來越嚴(yán)重，導(dǎo)致網(wǎng)絡(luò)很難收斂甚至無法收斂。針對這一問題文獻(xiàn)[13]提出深度殘差網(wǎng)絡(luò)(Deep Residual Network, Resnet)，該模型更容易優(yōu)化，且性能提升明顯[14]。

深度殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)由圖1(a)表示，設(shè)最優(yōu)映射為H(x)=x，而殘差網(wǎng)絡(luò)的映射關(guān)系為H(x)=F(x)+x，殘差網(wǎng)絡(luò)將擬合目標(biāo)由H(x)=x轉(zhuǎn)化為F(x)=0[7]。為了進(jìn)一步減少網(wǎng)絡(luò)參數(shù)以及加快訓(xùn)練的收斂速度，本文提出一種瓶頸殘差塊的結(jié)構(gòu)塊來代替常規(guī)的殘差塊。如圖1(b)所示：先通過1×1的卷積來巧妙地縮減feature map(特征圖)維度從而使得3×3卷積計算量降低，再通過1×1的卷積將維度提升到與輸入一致。

圖1 殘差網(wǎng)絡(luò)結(jié)構(gòu)

1.3 SSD目標(biāo)檢測框架

如圖2所示，SSD算法特征提出采用VGG16框架，并將VGG16的fc6、fc7層使用兩個卷積層來代替。SSD采用了特征金字塔結(jié)構(gòu)進(jìn)行檢測，即檢測時利用了多個大小不同的特征圖，在多個特征圖上沿用Faster RCNN中的anchor機(jī)制，大量使用先驗(yàn)框來提升識別準(zhǔn)確率，后續(xù)通過Softmax進(jìn)行目標(biāo)分類和先驗(yàn)框回歸獲得真實(shí)目標(biāo)的位置。

圖2 SSD網(wǎng)絡(luò)結(jié)構(gòu)

圖3 SSD候選框選取

2 輕量級卷積神經(jīng)網(wǎng)絡(luò)行人檢測算法

正如上述所討論的：傳統(tǒng)HOG+SVM算法準(zhǔn)確率較低、穩(wěn)定性不高；基于深度學(xué)習(xí)的YOLO算法，準(zhǔn)確率較低、計算量過大、權(quán)值參數(shù)過多，不適用于前端嵌入式設(shè)備的移植；SSD目標(biāo)檢測方法，也存在著計算量過大、權(quán)值參數(shù)過多的問題；Mobile-SSD雖然將權(quán)值進(jìn)一步的縮減，但對于前端視頻監(jiān)控設(shè)備所能接受的性能指標(biāo)依舊有著較大差距。因此本文提出一種可移植至前端嵌入式的輕量級網(wǎng)絡(luò)，該網(wǎng)絡(luò)在較低的準(zhǔn)確率變化范圍內(nèi)，提高16～132倍不等的檢測速度，并降低了93%以上的存儲空間，能更好地結(jié)合人工智能與前端嵌入式設(shè)備。

2.1 預(yù)測層與候選框尺寸的選取

本文沿用SSD多尺度檢測以及使用不同形狀候選框來以針對目標(biāo)長寬比例的不確定性的思想。SSD中預(yù)測層數(shù)與候選框個數(shù)的選取是通過經(jīng)驗(yàn)值進(jìn)行人為選取，針對行人檢測問題，本文提取PASCAL VOC數(shù)據(jù)集中所有行人樣本共6 095幅圖片，包含13 256個行人樣本，并對行人長寬比例以及行人所占圖片比例進(jìn)行統(tǒng)計。由圖4可知，行人目標(biāo)寬長比集中分布在0.2～0.5范圍內(nèi)，則本文每個預(yù)測層aspect_ratio參數(shù)設(shè)置為0.3、0.4，并取消寬大于長的anchor，最終選取6 920個候選框。具體結(jié)構(gòu)如圖5所示。

圖4 行人長寬比例分布

圖5 本文網(wǎng)絡(luò)候選框選取

由圖6可知，行人所占原始圖像比例集中分布在0～0.1范圍內(nèi)。特征圖的大小決定了每個特征點(diǎn)的感受野范圍，也影響了目標(biāo)檢測能檢測目標(biāo)的大小的能力。因此，本文分別將38×38、19×19、10×10、5×5四種不同尺寸特征圖作為目標(biāo)檢測與識別分支網(wǎng)絡(luò)的輸入，計算目標(biāo)的位置信息與類別信息。

圖6 行人占圖片大小比例分布

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

SSD與Mobile-SSD目標(biāo)檢測網(wǎng)絡(luò)框架中特征提取框架權(quán)值占總共權(quán)值比例較大。由于這類目標(biāo)檢測算法大多用于自然場景下的多目標(biāo)檢測，故特征提取器中使用的卷積核個數(shù)較多。但對于行人檢測單類目標(biāo)檢測的特征提取，該特征提取器過于冗余復(fù)雜。對于特征提取器后半部分，SSD與Mobile-SSD均采用直筒形卷積，即先使用1×1卷積進(jìn)行降維再使用3×3卷積進(jìn)行計算，減少了3×3卷積的計算量。本文采用瓶頸殘差網(wǎng)絡(luò)代替其特征提取部分，將卷積核通道數(shù)進(jìn)行了相應(yīng)的裁剪，將直筒形結(jié)構(gòu)替換為殘差結(jié)構(gòu)。通過減小卷積核個數(shù)以達(dá)到加快計算速度的目的。在原始的瓶頸殘差塊的基礎(chǔ)上，本文在主干網(wǎng)絡(luò)中額外添加一層3×3的卷積層，如圖7中ResnetBlock2的conv3所示。通過增加卷積層的個數(shù)，一定程度上改善了網(wǎng)絡(luò)寬度減小帶來的檢測精度下降的問題。本文在ResnetBlock2中conv3層步長設(shè)置為2，替換原始網(wǎng)絡(luò)中通過池化進(jìn)行下采樣的效果。將步長設(shè)置為2能夠一定程度上減少計算量，但這也帶來了殘差網(wǎng)絡(luò)兩路分支的輸出特征圖大小不匹配的問題。為了解決這一問題，本文將殘差網(wǎng)絡(luò)分支中加入了池化操作，將輸入特征圖進(jìn)行下采樣，保證了最終疊加的特征圖大小一致。具體結(jié)構(gòu)設(shè)計如圖7所示。

圖7 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.3 損失函數(shù)的定義

本文網(wǎng)絡(luò)通過端到端訓(xùn)練實(shí)現(xiàn)行人檢測，不僅需要預(yù)測行人的位置信息，還需要預(yù)測候選框中行人的置信度。模型的損失函數(shù)分為置信度損失Loss(conf)與定位損失Loss(loc)兩部分，損失函數(shù)L(x,c,l,g)可表示為：

(1)

式中：N為默認(rèn)候選框個數(shù)，本文網(wǎng)絡(luò)為6 920；α為概率損失與位置損失比例因子，本文網(wǎng)絡(luò)設(shè)置為1。位置損失定義為：

(2)

(3)

(4)

置信度損失可表示為：

(5)

(6)

(7)

2.4 BN(Batch Normalization)層的合并

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，一般會在卷積層后添加BN層，BN層將數(shù)據(jù)歸一化之后，能夠有效地防止梯度消失和梯度爆炸的問題，并且能夠加速網(wǎng)絡(luò)的收斂，很好地控制過擬合現(xiàn)象[14]。BN層輸出如下：

(8)

式中：conv為卷積層輸出；mean為均值；var為方差；γ為縮放因子；β為偏移。mean、var、y、β均為訓(xùn)練參數(shù)，在前向推理時為常數(shù)。

但BN操作在進(jìn)行前向推理時，會帶來額外的計算量，對前向傳播速度有一定的影響。本文網(wǎng)絡(luò)中采用了大量的BN操作，在進(jìn)行前向推理前，將BN層與卷積層進(jìn)行合并，使得前向推理時不需要再進(jìn)行BN層的計算，提高了前向推理的速度。卷積層輸出如式(9)，x為輸入特征圖，w為權(quán)值，b為偏移量。將式(8)代入式(9)中得到式(10)，由式(10)與式(8)對比可得合并BN層之后的卷積權(quán)值wnew與偏移bnew為：

conv=x×w+b

(9)

(10)

(11)

3 方法驗(yàn)證與實(shí)驗(yàn)對比

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所使用的平臺包括本地計算機(jī)以及實(shí)際應(yīng)用的前端嵌入式開發(fā)板，其基本配置如下：

本地計算機(jī)：處理器為英特爾酷睿 I5-7400；CPU頻率為 3.0 GHz；內(nèi)存8 GB；GPU為 NVIDIA GeForce GTX1080 Ti，顯存11 GB；操作系統(tǒng)為ubuntu16.04。

嵌入式開發(fā)板：主板AIO-3399J；芯片RK3399;處理器為ARM Cortex-A72(雙核)及Cortex-A53(四核)主頻2.0 GHz，內(nèi)存2 GB；操作系統(tǒng)為ubuntu16.04。

3.2 行人檢測模型評價方法

本文使用誤檢率(Miss Rate，MR)與平均漏檢率(False Positive Per Image，F(xiàn)PPI)作為評判指標(biāo)，來對行人檢測網(wǎng)絡(luò)框架的有效性進(jìn)行對比驗(yàn)證。MR、FPPI越低，表明網(wǎng)絡(luò)框架性能更優(yōu)，漏檢率和平均誤檢率計算方法分別如下：

式中：FN(False Negative) 表示實(shí)際為行人，被判定非行人的個數(shù)；TP(True Positive) 表示實(shí)際為行人，被判定行人的個數(shù)；FP(False Positive) 表示實(shí)際非行人，被判定行人的個數(shù)；Ntest_data表示測試集圖片張數(shù)。

PASCAL VOC數(shù)據(jù)集作為知名目標(biāo)數(shù)據(jù)集[16]，共有33 043幅圖片，其中包括20種目標(biāo)。本文從中挑選出所有包含行人的樣本圖片共8 102幅，并對圖片中目標(biāo)進(jìn)行標(biāo)注。INRIA行人數(shù)據(jù)集是目前被應(yīng)用最多的公開數(shù)據(jù)集[3]，其場景種類多樣；TUD行人數(shù)據(jù)庫包含手持?jǐn)z像機(jī)與車載攝像機(jī)拍攝行人，具有很好的場景特征；ETH行人數(shù)據(jù)庫作為基于雙目視覺的行人數(shù)據(jù)庫[17]，能夠有效地代表以行人角度的視角。本文使用樣本數(shù)較多的VOC數(shù)據(jù)集進(jìn)行特征提取網(wǎng)絡(luò)的預(yù)訓(xùn)練，將預(yù)訓(xùn)練得到的權(quán)值進(jìn)行遷移學(xué)習(xí)。由于公開的行人數(shù)據(jù)集對于行人遮擋以及非站立姿勢的目標(biāo)均未進(jìn)行標(biāo)注，本文重新對行人樣本進(jìn)行標(biāo)注。如圖8所示，左邊為原有的數(shù)據(jù)集標(biāo)注結(jié)果，右邊是本文將小目標(biāo)、遮擋目標(biāo)、非站立目標(biāo)添加后進(jìn)行標(biāo)注的結(jié)果。在此基礎(chǔ)上，使用不同的行人檢測樣本集進(jìn)行再次的訓(xùn)練，并與其他行人檢測算法進(jìn)行準(zhǔn)確率的對比。本文將算法移植至瑞芯微公司旗下的RK3399核心開發(fā)板中進(jìn)行速度測試，對算法在嵌入式開發(fā)板中的實(shí)際應(yīng)用效果進(jìn)行對比分析。

圖8 原始樣本與重新標(biāo)注后樣本

3.3 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練的實(shí)驗(yàn)參數(shù)設(shè)置如下：批大小設(shè)置為64，最大迭代步數(shù)設(shè)置為150 000。識別部分的學(xué)習(xí)率為0.01，權(quán)重衰減設(shè)置為0.001。采用開源深度學(xué)習(xí)框架caffe作為網(wǎng)絡(luò)的訓(xùn)練平臺。如圖9所示，網(wǎng)絡(luò)經(jīng)過20 000次迭代，損失趨于穩(wěn)定，根據(jù)驗(yàn)證集選取第29 800次迭代作為最終權(quán)重模型。

圖9 網(wǎng)絡(luò)訓(xùn)練損失圖

為了驗(yàn)證本文網(wǎng)絡(luò)的準(zhǔn)確率與實(shí)時性，本文在INRIA、TUD、ETH三種公開行人檢測數(shù)據(jù)集上，分別從MR、FPPI、參數(shù)量、計算量、計算速度5種評判標(biāo)準(zhǔn)對比了HOG+SVM 、YOLO、SSD、Mobile-SSD以及本文網(wǎng)絡(luò)的優(yōu)劣性。具體實(shí)驗(yàn)結(jié)果如表1-表2所示。

表1 行人算法檢測速度對比

表2 行人算法檢測率對比(%)

本文將算法統(tǒng)一移植至AIO-3399J嵌入式開發(fā)平臺進(jìn)行檢測速度測試。由表1可看出：本文相較于YOLO、SSD、Mobile-SSD參數(shù)分別減少了99.4%、98.6%、93.8%；在嵌入式開發(fā)平臺上，本文所搭建的網(wǎng)絡(luò)框架的檢測速度達(dá)到每幅圖片67 ms；將網(wǎng)絡(luò)中的BN層進(jìn)行合并后，速度進(jìn)一步提升，達(dá)到62 ms/幅。相較于以往基于神經(jīng)網(wǎng)絡(luò)的行人檢測算法，速度提升了16～132倍不等。由表1可以看出：由于本文在訓(xùn)練樣本中添加了大量的小目標(biāo)與遮擋目標(biāo)，導(dǎo)致HOG+SVM算法MR、FPPI較高，也證明HOG+SVM算法在實(shí)際應(yīng)用中存在著魯棒性差、不可靠等問題；由于YOLO對于小目標(biāo)檢測的效果不佳，使得該算法的MR也略高于其他算法；本文網(wǎng)絡(luò)繼承SSD中使用多尺度特征圖做目標(biāo)檢測的思想，對于多尺度行人的檢測明顯優(yōu)于YOLO與HOG+SVM；本文網(wǎng)絡(luò)MR、FPPI略高于SSD、Mobile-SSD。由于本文主要工作是基于嵌入式平臺進(jìn)行算法開發(fā)，考慮到嵌入式平臺與算法相結(jié)合，本文算法具有更大的優(yōu)勢，能夠在準(zhǔn)確率下降不明顯的情況下，提升算法的計算速度，大大降低了對嵌入式開發(fā)板內(nèi)存空間，計算能力的要求。

4 結(jié) 語

行人檢測在前端智能設(shè)備監(jiān)控中有巨大的應(yīng)用價值，本文提出一種能夠部署于嵌入式設(shè)備中的輕量級神經(jīng)網(wǎng)絡(luò)行人檢測方法。本文通過聚類分析得到行人目標(biāo)長寬比例，以此重新設(shè)計候選框尺寸比例，加強(qiáng)了對行人定位的效果，也一定程度上減少了神經(jīng)網(wǎng)絡(luò)的參數(shù)與計算量；另外，本文提出一種輕量級神經(jīng)網(wǎng)絡(luò)框架，該框架參數(shù)量小、計算量小，使基于深度學(xué)的目標(biāo)檢測算法在嵌入式設(shè)備計算速度大大提升。實(shí)驗(yàn)結(jié)果表明：通過在不同的樣本集中測試，本文算法MR、FPPI指標(biāo)均低于HOG+SVM與YOLO算法，略高于SSD與Mobile-SSD算法，但單幅圖片檢測速度有16～132倍不等的提升。綜合考慮，本文算法在基于嵌入式設(shè)備行人檢測中有著良好的綜合性能。本文對網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計還在初始階段，如何保證在計算量不變或者減少的情況下，進(jìn)一步提升算法的準(zhǔn)確性是下一步工作的研究方向。