董永昌，單玉剛，袁 杰

(1.新疆大學(xué) 電氣工程學(xué)院，新疆 烏魯木齊 830047；2.湖北文理學(xué)院 教育學(xué)院，湖北 襄陽 441053)

0 引 言

隨著深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的表現(xiàn)日益突出[1]。先后出現(xiàn)了R-CNN系列[2-4]、YOLO系列[5-7]、SSD[8]等目標(biāo)檢測(cè)方法。相對(duì)來說，R-CNN方法在檢測(cè)精度上更好，YOLO方法在檢測(cè)速度上表現(xiàn)更優(yōu)。在行人檢測(cè)方面：文獻(xiàn)[9]改進(jìn)Faster R-CNN中候選框的選取方法，使得行人檢測(cè)的精度有了一定的提高。文獻(xiàn)[10]根據(jù)行人在圖像中的幾何特點(diǎn)，對(duì)YOLO網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，取得了不錯(cuò)的檢測(cè)效果。

SSD(single shot MultiBox detector)算法是一種以VGG[11]為前置網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法。它會(huì)均勻地在圖片上產(chǎn)生不同大小和長(zhǎng)寬比的候選框，然后利用卷積層提取圖像特征，最后是回歸和分類。文獻(xiàn)[12]對(duì)SSD的基礎(chǔ)網(wǎng)絡(luò)部分進(jìn)行改進(jìn)并在檢測(cè)階段對(duì)不同特征層添加縮放因子，提高了行人檢測(cè)的準(zhǔn)確性。文獻(xiàn)[13]用MobileNetV2作為SSD模型的基礎(chǔ)網(wǎng)絡(luò)，有效減少了圖像特征提取過程中花費(fèi)的時(shí)間及運(yùn)算量。DenseNet[14]是一種密集連接的卷積神經(jīng)網(wǎng)絡(luò)，比VGG其更易于訓(xùn)練，且精度更高。本文提出一種以DenseNet模型為前置網(wǎng)絡(luò)的SSD算法。與SSD、YOLO、Faster R-CNN等模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，改進(jìn)的SSD模型具有更高的準(zhǔn)確率。

1 相關(guān)模型

1.1 SSD檢測(cè)原理

原始的SSD以VGG16或VGG19作為其前置網(wǎng)絡(luò)，本文以前置網(wǎng)絡(luò)為VGG16的SSD300模型為網(wǎng)絡(luò)架構(gòu)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

該模型要求輸入圖片大小是300×300，然后根據(jù)VGG16網(wǎng)絡(luò)結(jié)構(gòu)，將其前5層做為基礎(chǔ)，將兩個(gè)全連接層轉(zhuǎn)換為兩個(gè)卷積層，并在其后添加3個(gè)卷積層和一個(gè)平均池化層所組成。網(wǎng)絡(luò)在Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Pool11層上輸出一組不同寬高比和不同大小的默認(rèn)框。

默認(rèn)框的生成是以特征層上每個(gè)點(diǎn)為中心生成一系列同心框，每個(gè)特征層上默認(rèn)框的尺寸由式(1)確定

(1)

式中：m指不同預(yù)測(cè)特征層尺寸的數(shù)量，SSD300中預(yù)測(cè)特征層尺寸的數(shù)量為6，同時(shí)Smin為0.2，Smax為0.9。

而更小的特征層意味著更大的感受野，更大的特征層意味著更小的感受野。因此不同特征層上相同尺寸的默認(rèn)框在輸入圖像上的映射范圍是不同的，在其默認(rèn)框生成各自的置信度和位置信息之后，通過reshape來調(diào)整特征層為相同尺寸，之后用非極大值抑制和Softmax得檢測(cè)結(jié)果。

1.2 DenseNet模型

DenseNet模型是一種用于圖片分類的模型，與VGG、ResNet[15]和Inception[16,17]不同，它是一種前饋方式的密集型連接(dense connection)的網(wǎng)絡(luò)，即

Xl=Hl([X0,X1,…,Xl-1])

(2)

其中，Xl表示第l層的輸入，[]表示將X0,X1,…,Xl-1所有輸出進(jìn)行組合拼接，H表示批量正則化、ReLU激活函數(shù)以及Conv(3×3)卷積層的組合。這種連接方式加強(qiáng)了網(wǎng)絡(luò)中各層之間的信息交流，有效提高了網(wǎng)絡(luò)的訓(xùn)練效率，以DenseNet-121為例，其網(wǎng)絡(luò)參數(shù)見表1。

表1 DenseNet-121網(wǎng)絡(luò)結(jié)構(gòu)

其中，Stride默認(rèn)為2，用Dropout來隨機(jī)丟棄一部分特征層來減少參數(shù)。由于在DenseNet中需要對(duì)不同特征層進(jìn)行拼接，所以要求Dense_Block中的特征圖尺寸保持相同的尺寸，在相鄰兩個(gè)Dense_Block之間設(shè)置過渡層(transition layers)進(jìn)行下采樣，過渡層由批量正則化、(1×1)的卷積層和 (2×2)的平均池化層組成。在Dense_Block中，輸入先經(jīng)過1×1卷積核來減少特征圖數(shù)量，然后作為3×3卷積核的輸入進(jìn)行運(yùn)算，大大減少了計(jì)算量，過渡層通過參數(shù)縮減將輸入到該層的特征圖數(shù)量減小到原來的一半。

2 行人檢測(cè)算法

2.1 改進(jìn)SSD網(wǎng)絡(luò)結(jié)構(gòu)

本文用DenseNet-121作為SSD的前置網(wǎng)絡(luò)。首層是3×3的卷積層，然后經(jīng)過4個(gè)分別含有6層、12層、24層、16層的Dense_Block，每?jī)蓚€(gè)Dense_Block之間是非線性變換BN+ReLU+Conv(3×3)的組合，DenseNet之后是4層包含1×1和3×3卷積層。最后，選取后兩層Dense_Block和4個(gè)卷積層進(jìn)行目標(biāo)框的選取。新構(gòu)建的網(wǎng)絡(luò)在選取目標(biāo)框的時(shí)候能夠更好利用不同特征層的信息。其網(wǎng)絡(luò)結(jié)構(gòu)模型如圖2所示。

網(wǎng)絡(luò)中Growth_k為 24，Dropout_rate為0.5。優(yōu)化函數(shù)使用Adam(adaptive moment estimation)，它綜合了一階矩估計(jì)和二階矩估計(jì)來計(jì)算梯度下降的更新步長(zhǎng)。相對(duì)于其它優(yōu)化函數(shù)其具有效率高，實(shí)現(xiàn)方便，內(nèi)存使用率低等優(yōu)點(diǎn)。

圖2 本文網(wǎng)絡(luò)結(jié)構(gòu)模型

SSD網(wǎng)絡(luò)結(jié)構(gòu)在一定程度上利用了淺層網(wǎng)絡(luò)的目標(biāo)特征，降低了因網(wǎng)絡(luò)太深而造成的模型參數(shù)數(shù)量暴增和梯度消失的風(fēng)險(xiǎn)。但是，更淺的特征層意味著更弱的表征能力，所以可以通過提高淺層網(wǎng)絡(luò)的表征能力來提高網(wǎng)絡(luò)的檢測(cè)性能。本文以DenseNet作為SSD的基礎(chǔ)網(wǎng)絡(luò)，與傳統(tǒng)的SSD模型相比，該模型不僅有效緩解了梯度消失問題，使得網(wǎng)絡(luò)更加容易訓(xùn)練，又大幅度減少了網(wǎng)絡(luò)的參數(shù)量，而且加強(qiáng)了特征向更深層次傳播。

2.2 損失函數(shù)選擇

損失函數(shù)由兩部分組成：置信度損失和位置損失，如式(3)～式(5)所示

(3)

其中

(4)

(5)

其中，N為匹配成功的默認(rèn)邊框數(shù)目，Lconf(x,c)代表置信度損失，Lloc(x,l,g)代表位置損失。用Smooth L1函數(shù)的好處是當(dāng)預(yù)測(cè)框和真實(shí)框差距過大時(shí)避免梯度爆炸，當(dāng)預(yù)測(cè)框和真實(shí)框差距過小時(shí)梯度不至于消失。

2.3 行人檢測(cè)算法流程

整個(gè)算法流程分為訓(xùn)練模塊和測(cè)試模塊。在訓(xùn)練模塊，為了使訓(xùn)練模型具有更強(qiáng)的泛化能力，防止訓(xùn)練模型過擬合，將原始數(shù)據(jù)集進(jìn)行擴(kuò)充增強(qiáng)。之后將數(shù)據(jù)標(biāo)注成VOC2007數(shù)據(jù)格式用于訓(xùn)練、測(cè)試和驗(yàn)證，最后將批量輸入圖片送入設(shè)計(jì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并得到最終訓(xùn)練模型。在測(cè)試模塊，網(wǎng)絡(luò)會(huì)首先在輸入圖片中生成默認(rèn)框，并判斷默認(rèn)框的置信度，然后根據(jù)訓(xùn)練模型對(duì)目標(biāo)框進(jìn)行位置和置信度的調(diào)整，最后在產(chǎn)生的N個(gè)檢測(cè)框中利用非極大值抑制原理產(chǎn)生最終的檢測(cè)結(jié)果。其算法流程如圖3所示。

圖3 算法流程

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)平臺(tái)

仿真的實(shí)驗(yàn)環(huán)境為：Win10的操作系統(tǒng)，英特爾i5-9400F處理器和NVIDIA GeForce GTX 1070顯卡。實(shí)驗(yàn)采用Python編程語言在Tensorflow深度學(xué)習(xí)框架上進(jìn)行模型的訓(xùn)練和測(cè)試。

3.2 數(shù)據(jù)集構(gòu)建和模型訓(xùn)練

本文使用INRIA 數(shù)據(jù)集來進(jìn)行模型的訓(xùn)練，它包括訓(xùn)練樣本和測(cè)試樣本共902張(包含3542個(gè)行人)。圖片中人體有站立、坐、蹲、跳起等姿勢(shì)，目標(biāo)人物包含兩個(gè)性別各年齡階段，且目標(biāo)相對(duì)于整幅圖片尺寸大小不定。背景包括室內(nèi)、野外、運(yùn)動(dòng)場(chǎng)、街道、海邊等不同地方，圖片高度大于100個(gè)像素。為了增加樣本多樣性，提高樣本質(zhì)量，有效緩解訓(xùn)練過程中的過擬合現(xiàn)象，本文在此基礎(chǔ)上通過水平翻轉(zhuǎn)、裁剪等樣本增強(qiáng)方法將數(shù)據(jù)集擴(kuò)展為3000張，其中2400張為訓(xùn)練樣本，600張為測(cè)試樣本。每個(gè)每批次處理16張圖片，迭代60 000次。訓(xùn)練過程中設(shè)置學(xué)習(xí)率從0.01以指數(shù)衰減形式進(jìn)行衰減，衰減因子為0.94，每12個(gè)Epoch衰減一次。學(xué)習(xí)率變化曲線如圖4所示。

圖4 學(xué)習(xí)率變化曲線

模型改進(jìn)前后訓(xùn)練過程的損失值和準(zhǔn)確度曲線如圖5所示。

圖5 模型結(jié)果對(duì)比

由圖5可見，本文所提SSD模型比傳統(tǒng)SSD模型的收斂速度更快，且改進(jìn)的SSD模型比傳統(tǒng)的SSD模型更低的損失和更高的準(zhǔn)確率。迭代60 000此后，原模型的損失和準(zhǔn)確率分別為5.6和0.86；改進(jìn)后模型的損失和準(zhǔn)確率分別為3.7和0.94。

3.3 評(píng)價(jià)指標(biāo)

選取準(zhǔn)確率(Precision，P)和召回率(Recall，R)作為檢驗(yàn)網(wǎng)絡(luò)優(yōu)越性的指標(biāo)，其定義為

(6)

(7)

式中：TP表示正確檢測(cè)到行人的數(shù)量，F(xiàn)P表示誤把非行人目標(biāo)檢測(cè)為行人目標(biāo)的數(shù)量，F(xiàn)N表示誤把行人檢測(cè)為背景的數(shù)量。

3.4 結(jié)果分析

在INRIA數(shù)據(jù)庫中隨機(jī)選出300張圖片，其中含有1658個(gè)行人的圖片集進(jìn)行測(cè)試。將實(shí)驗(yàn)結(jié)果和原始SSD算法、Faster-RCNN以及YOLO_v3進(jìn)行比較，在檢測(cè)精度和目標(biāo)被遮擋方面分析改進(jìn)后網(wǎng)絡(luò)的檢測(cè)效果。對(duì)比結(jié)果見表2。

表2 不同模型檢測(cè)結(jié)果對(duì)比

從檢測(cè)結(jié)果的指標(biāo)來看：與 Faster RCNN、YOLO_v3等模型相比，改進(jìn)后的模型比原始模型具有更高的檢測(cè)精度和召回率，本文模型在準(zhǔn)確率上分別提高10.1%和5.3%，在召回率上分別提高14.95%和6.11%。故而相對(duì)于其它3種模型，本文模型具有更高的檢測(cè)精度，具有良好的應(yīng)用前景。具體檢測(cè)結(jié)果如圖6所示。

圖6是改進(jìn)后的SSD網(wǎng)絡(luò)與原始網(wǎng)絡(luò)、Faster RCNN、YOLO_v3的檢測(cè)效果對(duì)比，從檢測(cè)結(jié)果來看，F(xiàn)aster RCNN檢測(cè)精度較高，但是對(duì)于圖6(a)第3幅圖中的目標(biāo)人物遮擋顯現(xiàn)的檢測(cè)效果并不好；圖6(b)中原始SSD在對(duì)小目標(biāo)的檢測(cè)率上有所提高，但是對(duì)小目標(biāo)的誤檢率也隨之上升，而且對(duì)于遮擋現(xiàn)象也同樣沒有很好的檢測(cè)效果； YOLO_v3的檢測(cè)結(jié)果要明顯優(yōu)于前兩種模型，其在目標(biāo)被遮擋和檢測(cè)精度上有了較大的提高，但是如圖6(c)第一幅圖所示，該模型對(duì)小目標(biāo)的檢測(cè)率卻不太好；圖6(d)中經(jīng)本文改進(jìn)后的SSD模型在相同的測(cè)試圖片中，其目標(biāo)人物的檢測(cè)置信度都較高，且對(duì)于第3幅圖中被遮擋的目標(biāo)人物的置信度為0.916，而且對(duì)于邊緣小目標(biāo)的檢測(cè)率也有較大的提高。相對(duì)于其它模型，本模型在保證檢測(cè)精度的基礎(chǔ)上對(duì)被遮擋目標(biāo)和邊緣小目標(biāo)的檢測(cè)率有了較大的改善，檢測(cè)結(jié)果更好，具有更強(qiáng)的魯棒性。

4 結(jié)束語

本文將DenseNet作為SSD模型的前置網(wǎng)絡(luò)，使得網(wǎng)絡(luò)的深度得到增加，在生成目標(biāo)檢測(cè)框的時(shí)候，不僅利用了更深特征層信息，也使得淺層網(wǎng)絡(luò)信息得到充分利用，其結(jié)構(gòu)特點(diǎn)也提升了梯度的反向傳播，使得網(wǎng)絡(luò)更容易訓(xùn)練。對(duì)由于陰影、遮擋等造成的行人檢測(cè)效果不理想等問題，本模型對(duì)其性能具有較好的提升，對(duì)不同像素、不同姿態(tài)的行人檢測(cè)具有較好的魯棒性。