葉晴昊,涂岱鍵,畢 奇,秦飛巍,葛瑞泉,白 靜

(1.杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院,杭州 310018; 2.武漢大學(xué) 遙感信息工程學(xué)院,武漢 430079;3.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,銀川 750021)

0 概述

維持公共區(qū)域安全是保障社會和諧穩(wěn)定和人民群眾生命財(cái)產(chǎn)安全的一項(xiàng)重要工作。毫米波圖像方法被廣泛應(yīng)用于機(jī)場和地鐵站等公共區(qū)域的安檢威脅識別任務(wù)中[1-2]，該方法應(yīng)用于威脅識別過程中時,要求精度好、效率高和誤報(bào)率低[3]。然而,在威脅識別過程中采集到的毫米波圖像存在形狀、大小和位置未知的隱藏物體,導(dǎo)致圖像處理方法存在較高的誤報(bào)率。毫米波圖像包括有源毫米波圖像和無源毫米波圖像2種類型。有源毫米波圖像通過區(qū)分目標(biāo)物體周圍輻射強(qiáng)度的差異來生成掃描圖像[4-6],能夠以相對較快的速度生成圖像,但該方法生成圖像的分辨率較低且識別精度較差。無源毫米波圖像通過解析目標(biāo)的毫米波能量來生成掃描圖像,可生成高分辨率的圖像,適用于公共場所的高精度威脅識別。文獻(xiàn)[7]提出一種改進(jìn)的雙基址結(jié)構(gòu),有效減少了掃描時間,同時提高生成圖像的質(zhì)量。目前，關(guān)于無源毫米波圖像的研究常采用超分辨率方法來提高圖像分辨率[8-10],以提高識別準(zhǔn)確率。文獻(xiàn)[11]提出一種基于高斯混合模型的方法,并將期望最大化算法用于分類階段，雖然其結(jié)果準(zhǔn)確性有所提高,但該方法會產(chǎn)生無關(guān)聯(lián)區(qū)域。文獻(xiàn)[12]提出一種雙重階段算法,該算法的準(zhǔn)確率高,但是過程復(fù)雜且耗時長,難以投入到實(shí)際應(yīng)用中。文獻(xiàn)[13]提出一種多重階段算法,通過優(yōu)化圖像處理速度,有效減少算法耗時,且可達(dá)到較高的準(zhǔn)確率。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)已被廣泛應(yīng)用于識別、分類和分割等任務(wù)[14-16]，且CNN具有通過非線性映射來區(qū)分?jǐn)?shù)據(jù)獨(dú)立特征的性能[17-19]，因此在圖像識別領(lǐng)域的應(yīng)用較為廣泛。文獻(xiàn)[20]使用CNN-DL分類器檢測毫米波圖像中對象的可行性，并指出提高毫米波圖像識別精度的2個重要因素:模型的深度和圖像的完整性。由于訓(xùn)練樣本較少、樣本間類別不平衡問題顯著，目前深度學(xué)習(xí)方法在威脅識別領(lǐng)域中的應(yīng)用仍然較少。針對掃描對象的多角度視圖,多視圖間的特征信息聯(lián)系顯得尤為重要。文獻(xiàn)[21]并未考慮多視圖間的直接聯(lián)系，導(dǎo)致存在較高的漏檢率。因此，在威脅識別任務(wù)中存在隱藏物體形狀、大小和位置未知的問題，且不是每個角度都能檢測到危險(xiǎn)物品，多視圖角度下的區(qū)域重疊問題將會導(dǎo)致模型的誤報(bào)率增大。與此同時，在實(shí)際安檢過程中，由于多數(shù)檢測對象都為無威脅樣本，僅有少數(shù)樣本為危險(xiǎn)樣本，從而引起數(shù)據(jù)不均衡問題。

針對以上問題和挑戰(zhàn),本文構(gòu)建一種基于多視圖的深度神經(jīng)網(wǎng)絡(luò)模型PSS-Net用于毫米波圖像的威脅識別。該模型針對掃描圖像多視角問題進(jìn)行多視圖建模,從而增強(qiáng)各區(qū)域在不同角度之間的關(guān)聯(lián)程度,增強(qiáng)掃描對象的整體表征能力，并使用稠密性連接對單一視圖的表征能力進(jìn)行增強(qiáng)。與此同時,該模型運(yùn)用注意力機(jī)制以及焦點(diǎn)損失函數(shù)解決掃描對象樣本中存在的數(shù)據(jù)不均衡問題。

1 面向威脅識別的多視圖深度神經(jīng)網(wǎng)絡(luò)

1.1 簡述

針對輸入的人體掃描對象生成16個視圖,將每個視圖劃分為17個區(qū)域,隨后各視圖數(shù)據(jù)分別發(fā)送至殘差連接卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,且將通過注意力機(jī)制提取的多視圖卷積特征作為時序特征,通過基于稠密連接的長短期記憶模型強(qiáng)化威脅區(qū)域的特征表達(dá)。基于焦點(diǎn)損失函數(shù)優(yōu)化整個網(wǎng)絡(luò),構(gòu)成一個端到端的可訓(xùn)練框架,從而對單個掃描對象的各個區(qū)域進(jìn)行危險(xiǎn)預(yù)測。本文方法的應(yīng)用場景如圖1所示。

圖1 威脅識別人物場景

1.2 多視圖架構(gòu)

圖像序列建模[22-23]問題使得基于毫米波圖像的威脅識別任務(wù)更加困難。圖像序列建模[24]基于各掃描對象通常會生成多角度視圖。由于圖像部分區(qū)域重疊,使得識別難度增大,在這種情況下,多視圖[23]之間的關(guān)聯(lián)性顯得尤為重要。與此同時,長短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)[25]在處理序列問題上具有廣泛應(yīng)用,可以較好地建立序列之間的關(guān)系。根據(jù)以上問題與解決方案,構(gòu)建一個多視圖卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu),如圖2所示。其中,每個視圖被發(fā)送到參數(shù)相同的預(yù)訓(xùn)練ResNet-50[26]網(wǎng)絡(luò)中，以獲取像素之間的關(guān)系并提取空間位置上的特征。此外,在最終特征圖上,該模型采用一種基于稠密連接的長短期記憶注意力機(jī)制，特征映射由具有不同步幅和內(nèi)核大小的卷積層處理?？紤]到多視圖信息序列的處理問題,通過LSTM對掃描對象的多個視圖進(jìn)行空間鄰域上的掃描，并對掃描信息建模,從而對各個視圖在不同掃描角度下的特征進(jìn)行關(guān)聯(lián)性建模,提高區(qū)域的表征能力。PSS-Net模型架構(gòu)中的參數(shù)設(shè)置如表1所示。

圖2 PSS-Net模型架構(gòu)

表1 PSS-Net模型架構(gòu)中的參數(shù)設(shè)置

1.3 損失函數(shù)

利用模型對一個樣本中的17個區(qū)域分別進(jìn)行危險(xiǎn)概率的預(yù)測,即對于N個樣本,模型將輸出17×N個概率。通常情況下,模型考慮使用交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)對模型進(jìn)行優(yōu)化,其表示方法如式(1)所示:

(1)

由于在毫米波圖像威脅識別任務(wù)中存在危險(xiǎn)的樣本數(shù)量較少,從而帶來數(shù)據(jù)不均衡問題,導(dǎo)致模型的識別召回率較低。因此對損失函數(shù)進(jìn)行加權(quán),以緩解樣本不均衡帶來的影響,具體如式(2)所示:

(2)

其中,α為樣本調(diào)節(jié)因子。

上述問題僅解決了樣本不均衡問題,并未考慮難分類樣本在任務(wù)中的重要性。文獻(xiàn)[27]提出一種焦點(diǎn)損失函數(shù),可有效解決數(shù)據(jù)不均衡問題。在收斂速度和性能方面,焦點(diǎn)損失函數(shù)優(yōu)于先前的損失函數(shù),具體如式(3)所示:

(3)

其中,γ與α為可調(diào)節(jié)的超參數(shù)(預(yù)設(shè)γ=2.0,α=0.750)。

PSS-Net模型選取焦點(diǎn)損失函數(shù)為最終損失函數(shù),并對模型進(jìn)行優(yōu)化。

1.4 注意力機(jī)制

注意力機(jī)制可增強(qiáng)圖像全局信息的表達(dá),降低局部信息對結(jié)果的影響,使得連接特征映射更加緊湊。CNN注意力機(jī)制通過全連接層進(jìn)行特征映射變換,考慮了單個視圖下的圖像特征。LSTM注意力機(jī)制通過增加目標(biāo)的權(quán)重并強(qiáng)調(diào)重要的區(qū)域,模擬人類觀察多角度物體的過程,從而有效減少信息損失。LSTM注意力機(jī)制根據(jù)M(本文設(shè)置為16)個圖像的全局信息重要性對每個掃描視圖進(jìn)行加權(quán),并輸入序列x=(x1,x2,…,xM),LSTM注意力機(jī)制計(jì)算輸出序列zi=(z1,z2,…,zM),具體如式(4)所示:

(4)

采用Softmax函數(shù)計(jì)算每個權(quán)重系數(shù)βij,具體如式(5)所示:

(5)

其中,βij表示第j個視圖的注意力權(quán)重,Wxij是線性變換層,輸入維度為768,輸出維度為17。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文方法旨在預(yù)測指定身體區(qū)域(來自17個全身區(qū)域)存在威脅的概率,每次掃描包含17個標(biāo)簽,對應(yīng)于17個身體區(qū)域中是否存在威脅。

HD-AIT毫米波人體威脅掃描數(shù)據(jù)集中的每個人類掃描對象包含16個視圖,且每個視圖被分成17個身體區(qū)域,具體如圖3所示。該數(shù)據(jù)集包含由新一代毫米波掃描儀獲得的11 470個掃描對象。不同對象穿著不同服裝類型(含夏季服裝和冬季服裝),具有不同的體重指數(shù),含有不同的威脅數(shù)量和不同類型的威脅。

圖3 人體掃描圖像身體區(qū)域分布

2.2 評價(jià)指標(biāo)

實(shí)驗(yàn)選擇60%數(shù)據(jù)作為訓(xùn)練集,20%數(shù)據(jù)作為驗(yàn)證集,20%數(shù)據(jù)作為測試集。對于焦點(diǎn)損失函數(shù),預(yù)設(shè)γ=2.0,α=0.750,并使用余弦學(xué)習(xí)率衰減策略對模型進(jìn)行訓(xùn)練,初始學(xué)習(xí)率設(shè)置為0.1?；赨buntu 16.04 LTS系統(tǒng),CPU采用36核2.6 GHz Intel Core i9-9870XE,內(nèi)存大小為94 GB。使用4塊GeForce GTX 1080Ti 型號GPU用于加速訓(xùn)練,總共訓(xùn)練150個Epoch,訓(xùn)練共計(jì)120 h。PSS-Net模型在PyTorch框架上訓(xùn)練,實(shí)驗(yàn)過程中模型在訓(xùn)練集和驗(yàn)證集上的損失可視化如圖4所示。從圖4可以看出,當(dāng)訓(xùn)練到80個～100個Epoch時,損失函數(shù)已經(jīng)降低到相對較低水平且基本收斂。

圖4 訓(xùn)練集與驗(yàn)證集的損失函數(shù)

本文以準(zhǔn)確率(Accuracy)、精確度(Precision)、召回率(Recall)、特異性(Specificity)和假陽性率(False Positive Rate,FPR)作為評估指標(biāo),計(jì)算方法分別如式(6)～式(10)所示:

Accuracy=(TP+TN)/(TP+TN+FN+FP)

(6)

Precision=TP/(TP+FP)

(7)

Recall=TP/(TP+FP)

(8)

Specificity=TN/(TN+FN)

(9)

FPR=1.00-Specificity

(10)

其中,TP表示非威脅樣本中檢測為無威脅樣本的個數(shù),FP表示非威脅區(qū)域中誤檢為威脅樣本的個數(shù),FN表示威脅樣本中未能成功檢測出威脅的個數(shù),TN表示威脅樣本中正確檢測為威脅樣本的個數(shù)。

2.3 測試結(jié)果

由于損失函數(shù)中的超參數(shù)對實(shí)驗(yàn)結(jié)果有不同的影響,實(shí)驗(yàn)研究了不同參數(shù)的α對焦點(diǎn)損失函數(shù)的性能影響,結(jié)果如表2所示。從表2可以看出,隨著α的增大,焦點(diǎn)損失函數(shù)的準(zhǔn)確率和召回率均呈現(xiàn)先增大后降低的趨勢,當(dāng)α為0.750時達(dá)到最優(yōu)。實(shí)驗(yàn)進(jìn)一步研究了不同的γ與α組合對焦點(diǎn)損失函數(shù)的性能影響,結(jié)果如表3所示,在實(shí)驗(yàn)過程中,當(dāng)測試γ時,對應(yīng)的α均取實(shí)驗(yàn)中的最優(yōu)值。從表3可以看出,當(dāng)γ=2.0時性能達(dá)到最優(yōu),因此實(shí)驗(yàn)選擇γ=2.0,α=0.750作為損失函數(shù)的超參數(shù)。

表2 超參數(shù)α對焦點(diǎn)損失函數(shù)的性能影響(γ=0)Table 2 Effect of super parameter α on the performance of focal loss function(γ=0)

表3 超參數(shù)α與γ對焦點(diǎn)損失函數(shù)的性能影響Table 3 Effect of super parameter α and γ on the performance of focal loss function

為了有效對比各種模型在威脅識別方面的性能,實(shí)驗(yàn)對文獻(xiàn)[26-28]中的基線模型與本文模型進(jìn)行性能對比,結(jié)果如表4所示。從表4可以看出,本文提出的PSS-Net模型在測試集上的表現(xiàn)均高于其他基線模型,且該任務(wù)主要識別危險(xiǎn)圖像。同時，PSS-Net模型在召回率上相比其他方法提升更多。

表4 4種模型的測試結(jié)果對比

2.4 結(jié)果分析

每個區(qū)域的測試結(jié)果如表5所示。由表5可知,誤判集中在區(qū)域15(右腳踝)和區(qū)域16(左腳踝)中,誤判主要源于人體生理結(jié)構(gòu)的差異,考慮到數(shù)據(jù)集中多數(shù)樣本不存在局部病變的情況,因此當(dāng)目標(biāo)身體存在畸變時將干擾判斷,尤其是過于嚴(yán)重的生理形狀病變可能導(dǎo)致誤判。

表5 各區(qū)域的測試結(jié)果

2.5 消融研究

為比較模型中不同模塊對于性能的貢獻(xiàn),本文設(shè)計(jì)了消融實(shí)驗(yàn)進(jìn)行研究,分別比較了LSTM、多視圖卷積神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和焦點(diǎn)損失函數(shù)模塊的測試結(jié)果,如表6所示。其中,實(shí)驗(yàn)1、實(shí)驗(yàn)2分別僅使用以ResNet-50和LSTM為基礎(chǔ)的模型,實(shí)驗(yàn)3使用以ResNet-50為基礎(chǔ)的多視圖架構(gòu),實(shí)驗(yàn)4在實(shí)驗(yàn)3的基礎(chǔ)上加入LSTM以用作序列處理。在多視圖架構(gòu)和LSTM的模型上,實(shí)驗(yàn)5加入注意力機(jī)制,實(shí)驗(yàn)6同時加入了注意力機(jī)制和焦點(diǎn)損失函數(shù)。從表6可以看出,對于不包含多識圖架構(gòu)的模型(LSTM和ResNet-50),從準(zhǔn)確率角度而言,其結(jié)果均超過0.9,但召回率方面存在明顯不足，加入多視圖架構(gòu)后,測試結(jié)果顯示召回率至少提升了0.28,將注意力機(jī)制加入模型后,準(zhǔn)確率和召回率均達(dá)到了0.97,最終PSS-Net模型在測試集上的準(zhǔn)確率為0.997,召回率為0.999。

表6 消融研究測試結(jié)果

3 結(jié)束語

本文提出一種基于多視圖的神經(jīng)網(wǎng)絡(luò)模型PSS-Net用于毫米波圖像威脅識別。多視圖架構(gòu)解決了掃描對象的多方位問題,注意力機(jī)制顯著提升召回率,在實(shí)際應(yīng)用中可有效降低誤判率。該模型在HD-AIT毫米波人體威脅掃描數(shù)據(jù)集中取得較高的識別精度,驗(yàn)證了其在威脅識別領(lǐng)域的有效性,有助于危險(xiǎn)物品的精細(xì)化識別,對于提升公共區(qū)域安全具有重要意義。后續(xù)將針對不同對象的生理畸變進(jìn)行研究,以提高本文模型在幾何變形嚴(yán)重場景下的識別準(zhǔn)確率。