朱 成, 李柏巖， 劉曉強(qiáng), 馮珍妮

(東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,上海 201620)

基于X光掃描的安檢系統(tǒng)是目前航空和運(yùn)輸業(yè)違禁品檢測最常用的安全保障設(shè)施。系統(tǒng)掃描快速通過的行李、包裹,實(shí)時生成X光圖像供安檢人員檢查。顯然,這種安檢的可靠性很大程度上依賴于安檢人員的經(jīng)驗(yàn)和能力。但長時間枯燥的人工視覺檢視會使安檢員疲勞,容易發(fā)生誤判、漏判現(xiàn)象,帶來安全隱患。因此,高精度的自動違禁品識別技術(shù)一直受到研究者的關(guān)注,但這些技術(shù)[1-2]的識別率難以達(dá)到實(shí)際需要,一直沒有被普遍使用。近年來,隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)和日趨成熟,特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)所表現(xiàn)出的優(yōu)秀圖像分類能力,為這一領(lǐng)域的研究帶來了新助力。

基于X光圖像的違禁品檢測是圖像分類與目標(biāo)檢測的一種特例,有很多特殊性。首先,X光安檢機(jī)一般應(yīng)用于人流密集的場所。為避免擁堵,檢測工作應(yīng)在較短時間(約2～3 s)內(nèi)完成,有實(shí)時性要求。其次,X光掃描將行李中的物體映射到二維的圖像平面,原本在空間內(nèi)交錯分布的物體在平面上會出現(xiàn)疊加的現(xiàn)象。但與自然光圖像不同,疊加在X光圖像中的物體,仍保留各自完整的輪廓,因此疊加物體的檢測可以看作密集分布物體檢測問題。另外,很多小尺寸的違禁品往往難以檢測,這就要求違禁品檢測技術(shù)應(yīng)具備檢測密集分布物體和小尺寸物體的能力。

近年來,基于深度學(xué)習(xí)的圖像分類和目標(biāo)檢測技術(shù)成為研究熱點(diǎn)[3]。目前主流的目標(biāo)檢測CNN網(wǎng)絡(luò)主要分為2類:以R-CNN[4]、Fast R-CNN[5]、Faster R-CNN[6]、Mask R-CNN[7]等為代表的Two-Stage模型和以SSD[8]、YOLOv1[9]、YOLOv2[10]、YOLOv3[11]等為代表的One-Stage模型。前者使用基于候選框推薦的檢測方式,具有較高的檢測精度,但因?yàn)樾枰獙γ總€候選區(qū)域進(jìn)行卷積操作,所以花費(fèi)的時間較長,檢測速度慢。后者采用端到端回歸的檢測方式,直接預(yù)測目標(biāo)物體的類別信息和位置信息,節(jié)省了生成候選框所花費(fèi)的大量時間,因此在檢測速度上有較大的提升,能夠滿足實(shí)時檢測要求。經(jīng)過不斷地技術(shù)積累,最新版的YOLOv3無論是在檢測精度或是檢測速度上都優(yōu)于R-CNN系列網(wǎng)絡(luò)模型。

本文設(shè)計(jì)的違禁品檢測網(wǎng)絡(luò)以YOLOv3網(wǎng)絡(luò)模型為基礎(chǔ),針對違禁品檢測的特殊性,對其一些關(guān)鍵機(jī)制和結(jié)構(gòu)進(jìn)行了改造:① 使用新的激活函數(shù)SReLU替換此前的Sigmoid函數(shù),緩解網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的梯度下降問題,并加快網(wǎng)絡(luò)訓(xùn)練的收斂速度;② 使用密集卷積塊替換原模型中的部分卷積塊,增加網(wǎng)絡(luò)的特征提取能力,提高模型對小體積物體的檢測能力;③ 添加一個新的損失項(xiàng),提高模型對于密集分布物體的檢測能力。實(shí)驗(yàn)表明,上述改進(jìn)措施與原YOLO相比,能有效提高模型的檢測效果。

1 YOLOv3網(wǎng)絡(luò)

YOLO是最早的One-Stage系列模型之一,它構(gòu)建了一個端到端回歸的CNN模型。YOLO英文全稱是you only look once,表示只對圖像進(jìn)行一次處理就能同時得到位置和分類信息。該檢測方式極大地提高了模型的檢測速度,使模型能夠滿足實(shí)時性要求。

1.1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)Darknet53,該結(jié)構(gòu)借鑒了ResNet[12]思想,設(shè)有5個殘差結(jié)構(gòu)塊,防止網(wǎng)絡(luò)隨層數(shù)的加深發(fā)生退化。針對以前版本對于小尺寸物體檢測能力不足的問題,YOLOv3采用了多尺度檢測方式,對3個不同尺寸的特征圖Scale1、Scale2和Scale3進(jìn)行檢測。其中:特征圖Scale3尺寸最大,負(fù)責(zé)預(yù)測小尺寸物體;Scale1尺寸最小,負(fù)責(zé)預(yù)測大尺寸物體。

YOLOv3在對不同尺寸的特征圖進(jìn)行檢測時,先對特征圖Scale1進(jìn)行卷積操作,輸出的特征圖與特征圖Scale2進(jìn)行疊加然后再卷積。同理,卷積操作后的輸出與特征圖Scale3進(jìn)行疊加然后再卷積,最終得到檢測結(jié)果。檢測結(jié)果包含了目標(biāo)中心位置、寬、高、對象置信度以及類別置信度等信息。3種特征圖的大小為13×13、26×26和52×52,通道數(shù)為3。這意味著3個特征圖將原圖分別劃分為不同數(shù)量的柵格,每個柵格負(fù)責(zé)3個邊界框(bounding box)的回歸計(jì)算,因此最終輸出結(jié)果的尺寸是3(13×13+26×26+52×52)(5+k)=10 647(5+k),其中,k為圖中要檢測的對象類別數(shù)。

1.2 Bounding box中心位置回歸

YOLOv3將原始圖片劃分為S×S個柵格,如果一個目標(biāo)物體的中心點(diǎn)落在一個柵格中,那么這個柵格負(fù)責(zé)預(yù)測該物體。事實(shí)上,模型不是直接預(yù)測中心點(diǎn)坐標(biāo),而是預(yù)測一個偏移量,中心點(diǎn)坐標(biāo)則通過計(jì)算偏移量得出。中心點(diǎn)坐標(biāo)預(yù)測計(jì)算如圖1所示,一個含有違禁品的圖片被劃分為5×5個柵格,手槍落在第(3,3)個柵格中,該柵格就負(fù)責(zé)手槍的預(yù)測。圖1中:tx、ty為模型的輸出值;cx、cy為所在柵格左上角的坐標(biāo)(cx、cy分別為2和2);σ(*)為Sigmoid函數(shù)。物體的中心點(diǎn)坐標(biāo)bx、by的計(jì)算公式為：

bx=σ(tx)+cx,by=σ(ty)+cy

(1)

通過Sigmoid函數(shù)將模型輸出值映射到(0,1)之間,確保了預(yù)測的中心點(diǎn)位置落在該柵格中。

圖1 中心點(diǎn)坐標(biāo)預(yù)測計(jì)算示意圖

模型輸出值tx和ty經(jīng)過Sigmoid函數(shù)激活后,采用和方差計(jì)算損失值。對于Sigmoid函數(shù),當(dāng)輸入值較大時,其函數(shù)值將趨近于1,導(dǎo)數(shù)值將趨近于0。在此情況下使用平方誤差法得到的前向傳播誤差將很小,會出現(xiàn)梯度消失的現(xiàn)象,導(dǎo)致模型難以收斂。為解決該問題,通常采用交叉熵作為損失函數(shù),交叉熵函數(shù)適用于真實(shí)值為0或1的情況。在YOLOv3中,模型輸出的tx和ty經(jīng)過Sigmoid函數(shù)激活后,其真實(shí)值是在0～1之間的某個值,因此交叉熵函數(shù)并不適用于此場景。

2 模型的改進(jìn)

針對基于X光圖像的違禁品自動檢測在實(shí)際應(yīng)用場景下面臨的諸多難點(diǎn),如實(shí)時檢測、小尺寸物體檢測和密集分布物體識別等,本文對YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)和機(jī)制進(jìn)行有針對性地改進(jìn),消除在訓(xùn)練中可能會出現(xiàn)的梯度消失隱患,并從多方面提高對象檢測和對象識別的性能。

2.1 SReLU-YOLOv3

YOLOv3在計(jì)算Bounding box中心位置誤差值時,使用Sigmoid激活函數(shù)配合和方差損失函數(shù),會導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中可能出現(xiàn)梯度消失的情況。

本文使用SReLU[13]激活函數(shù)替代Sigmoid,其定義如下:

(2)

SReLU函數(shù)的曲線如圖2所示,呈S型,與Sigmoid類似。

圖2 SReLU函數(shù)曲線

函數(shù)分為3段,每段有固定的斜率,該做法的優(yōu)點(diǎn)是:① 當(dāng)輸入值增大時,SReLU函數(shù)計(jì)算的激活值也隨之增大,計(jì)算出來的損失值變化較為明顯。而Sigmoid函數(shù)當(dāng)輸入值增加時,輸出值趨近于1,變化不明顯。② SReLU函數(shù)在輸入值小于-0.5和大于0.5時有固定的斜率,即這2部分SReLU函數(shù)導(dǎo)數(shù)是一個固定值0.01。而在Sigmoid函數(shù)中,當(dāng)輸入值較大時,函數(shù)的導(dǎo)數(shù)值趨近于0。在誤差的反向傳播過程中,需要使用到激活函數(shù)的導(dǎo)數(shù)值,因而使用SReLU函數(shù)能夠反向傳播更大的誤差值,加快模型的收斂速度。

2.2 Dense-YOLOv3

網(wǎng)絡(luò)越深,其抽象能力越強(qiáng),因此,加深網(wǎng)絡(luò)結(jié)構(gòu)是增強(qiáng)模型檢測效果最簡單的做法。經(jīng)典的CNN從7層的AlexNet[14]發(fā)展到16～19層的VGG[15],到后來22層的GoogLeNet[16]都說明了這一點(diǎn)。但當(dāng)CNN超過一定的深度后,反而會出現(xiàn)梯度消失、網(wǎng)絡(luò)退化等問題,導(dǎo)致網(wǎng)絡(luò)收斂速度慢,檢測精度變差。針對此問題,ResNet模型在增加深度的同時引入殘差結(jié)構(gòu),該結(jié)構(gòu)將淺層卷積的輸出與深層卷積的輸出疊加,經(jīng)激活操作后作為深層的結(jié)果輸出。該設(shè)計(jì)的優(yōu)點(diǎn)是:① 將淺層卷積提取的特征信息盡可能完整地傳遞到深層,防止因?qū)訑?shù)過多而出現(xiàn)網(wǎng)絡(luò)退化問題;② 在誤差反向傳播過程中,盡可能多地將誤差傳遞到淺層,防止淺層因誤差太小而出現(xiàn)訓(xùn)練停滯的現(xiàn)象。因此,ResNet模型能夠在深度增加的情況下避免梯度消失、網(wǎng)絡(luò)退化等問題,大幅度提高了模型的檢測效果。

DenseNet[17]模型進(jìn)一步提出了密集(Dense)卷積結(jié)構(gòu),該結(jié)構(gòu)將當(dāng)前層與前面所有層建立密集連接,使層與層之間的連接變得更加緊密。Dense卷積塊結(jié)構(gòu)如圖3所示,每個Dense卷積結(jié)構(gòu)中包含4層,每層的輸入由其之前所有層的輸出疊加而成。

通過這種密集連接,使得不同層的特征信息得以重用,既使最后一層也能提取到第一層的特征信息。該特點(diǎn)讓DenseNet擁有比ResNet結(jié)構(gòu)更優(yōu)的特征提取能力。

圖3 Dense卷積塊結(jié)構(gòu)示意圖

本文將YOLOv3中對不同尺寸特征圖做卷積操作的卷積塊替換成Dense卷積塊,變更前后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

Dense卷積塊的加入強(qiáng)化了模型對圖片特征信息的傳遞能力,使得用于檢測物體的特征圖包含了淺層的特征信息,進(jìn)一步提高了模型的檢測性能,尤其是對小尺度物體的檢測能力。

2.3 Rep-YOLOv3

在X光安檢圖像中,物體相互疊加是常見的現(xiàn)象。可以將違禁品檢測歸類為密集分布物體檢測問題。物體密集分布又分為同類物體密集分布和異類物體密集分布2類。對于前者,早在YOLOv1階段,1個柵格只能預(yù)測1類物體,如果2個不同類別的物體的中心點(diǎn)落在同1個柵格中,模型最終只能檢測出其中1個類別。該問題在YOLOv2模型中得以解決,1個柵格可以預(yù)測多類物體。然而對于同類物體密集分布的檢測問題,模型雖然可以有效預(yù)測出多個bounding box,但往往在最終非極大值抑制階段被抑制掉,導(dǎo)致密集分布的同類物體檢測效果較差。如圖5所示。

圖5 密集分布物體對預(yù)測框的影響

T是目標(biāo)物體的真實(shí)bounding box,S是相鄰物體的bounding box,B是對目標(biāo)物體的預(yù)測框。在預(yù)測過程中,B往往會受到S的干擾,偏向S而遠(yuǎn)離真實(shí)邊界框T。同樣,對于以S為真實(shí)bounding box預(yù)測出的邊界框也會遠(yuǎn)離S而偏向T。在此情況下,負(fù)責(zé)預(yù)測2個不同物體的預(yù)測框有著極高的交并比(IoU),在非極大值抑制步驟中其中一個預(yù)測框會被抑制,最終僅產(chǎn)生一個預(yù)測框。

為了減少該問題帶來的影響,本文參照文獻(xiàn)[18]思想,在代價函數(shù)中添加了一個新的損失函數(shù),該損失函數(shù)為：

Lrep=sin(IG(B,S))

(3)

其中

(4)

IG(B,S)是預(yù)測框B和相鄰物體的bounding boxS的交集面積與S框面積的比例。比例越高,損失值越大。這里通過引入這樣一個互斥值,盡可能拉大B與S間的距離,使B向T靠攏。這樣,預(yù)測不同目標(biāo)物體的預(yù)測框之間的距離就會變大,IU變小,最終在非極大值抑制操作中得以保留,進(jìn)而提高模型對于密集分布物體的檢測能力。

3 實(shí)驗(yàn)結(jié)果分析

本文在YOLOv3模型的基礎(chǔ)上,按照上一節(jié)中描述的改進(jìn)思路分別構(gòu)建了SReLU-YOLOv3、Dense-YOLOv3、Rep-YOLOv3以及整合了所有改進(jìn)的Contraband Detector,并逐個進(jìn)行了實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

本文的實(shí)驗(yàn)使用SIXray[19]數(shù)據(jù)集,該數(shù)據(jù)集中共有8 929張包含違禁品的圖片。本次實(shí)驗(yàn)選取了其中5 276張圖片,使用標(biāo)注工具LabelImg進(jìn)行標(biāo)注。標(biāo)注的違禁片包括槍、剪刀、刀、鉗子、扳手、瓶裝液體和金屬罐等。每張圖片生成1個文件,包含圖片名、圖片大小、含有的違禁品類別、違禁品bounding box位置等信息。

實(shí)驗(yàn)的網(wǎng)絡(luò)模型運(yùn)行在Ubuntu操作系統(tǒng)上,使用基于Keras深度學(xué)習(xí)框架實(shí)現(xiàn),訓(xùn)練使用的GPU為11G顯存的GTX1080Ti。每個模型在完整的數(shù)據(jù)集上運(yùn)行100 Epoch,每批次訓(xùn)練16張圖片,共迭代33 000次,耗時約12 h,最后選取其中訓(xùn)練效果最優(yōu)的權(quán)重進(jìn)行測試。

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用YOLOv3模型的檢測結(jié)果作為基準(zhǔn),然后分別運(yùn)行SReLU-YOLOv3、Dense-YOLOv3、Rep-YOLOv3和Contraband Detector模型。YOLOv3模型與Contraband Detector模型對同一張圖片的檢測結(jié)果如圖6所示。容易看出,改進(jìn)模型對于密集分布物體的檢測效果有明顯的改善。

圖6 不同模型的檢測結(jié)果案例對比

本文挑選了200張圖片用來測試模型的檢測效果,如圖7所示。

圖7 檢測數(shù)據(jù)中違禁品類別分布及檢測效果對比

從圖7可以看出,改進(jìn)后的模型在檢測出更多物體的同時,假陽的數(shù)量也有所減少,初步判斷模型的檢測效果有所提高。

目標(biāo)檢測領(lǐng)域的常用評價標(biāo)準(zhǔn)是mAP(mean average precision)。本文根據(jù)各個模型的檢測數(shù)據(jù),計(jì)算出模型對各個類別檢測結(jié)果的平均精度,然后計(jì)算模型的mAP,結(jié)果見表1所列。

表1中的Y、S、D、R、C分別代表YOLOv3、SReLU-YOLOv3、Dense-YOLOv3、Rep-YOLOv3、Contraband Detector模型。從表1數(shù)據(jù)可以看出,Contraband Detector模型在各個類別的檢測效果上優(yōu)于YOLOv3模型,其中剪刀和刀的提升效果顯著。在所有類別中剪刀的體積最小,加入Dense卷積的模型大幅提高了對剪刀的檢測能力,從69.38%提升到80.51%。另外,實(shí)驗(yàn)所用的數(shù)據(jù)集中,刀的相互疊加現(xiàn)象最多,而加入新?lián)p失函數(shù)的Rep-YOLOv3對于刀檢測效果為72.62%,提升最為明顯。各個模型的mAP相對于原始YOLOv3模型的mAP值80.38%均有提高,并且本文模型的mAP值為86.59%，提升效果最好。

實(shí)驗(yàn)記錄了每張圖片的檢測時長,計(jì)算出各個模型的檢測速度,結(jié)果如圖8所示。

圖8 模型檢測速度與精度散點(diǎn)圖

在YOLOv3的文獻(xiàn)中,模型用C語言實(shí)現(xiàn),而本實(shí)驗(yàn)使用Python語言,再加上硬件平臺差異,本實(shí)驗(yàn)給出的YOLOv3模型檢測速度與YOLO官方給出的數(shù)據(jù)有一定差異。SReLU-YOLOv3與Rep-YOLOv3因?yàn)槲锤淖兡Ｐ偷木W(wǎng)絡(luò)結(jié)構(gòu),所以檢測速度與YOLOv3相當(dāng)。Dense-YOLOv3和Contraband Detector改變了網(wǎng)絡(luò)結(jié)構(gòu),計(jì)算量增加,因此速度稍慢于YOLOv3。

4 結(jié) 論

本文研究了X光安檢圖像的違禁品自動檢測技術(shù),在分析了應(yīng)用環(huán)境和卷積神經(jīng)網(wǎng)絡(luò)YOLOv3的一些問題后,針對性地提出了改進(jìn)方案:① 使用新的激活函數(shù)SReLU代替此前的Sigmoid函數(shù),緩解了梯度下降問題,加快了網(wǎng)絡(luò)訓(xùn)練的收斂速度;② 使用Dense卷積塊替換原網(wǎng)絡(luò)模型中的卷積塊,增加了網(wǎng)絡(luò)的特征提取能力,提高了模型對小尺度物體的檢測能力;③ 添加了一個新的損失項(xiàng),提高了模型對于密集分布物體的檢測能力。實(shí)驗(yàn)結(jié)果表明,改進(jìn)措施能有效增強(qiáng)模型的檢測能力,提升了mAP值,雖然在速度上略有下降,但仍然能夠滿足實(shí)時性要求。進(jìn)一步研究工作可以改進(jìn)模型的預(yù)測框選擇方法，提高性能。