梁添汾，張南峰，2，張艷喜，袁金豪，高向東

1.廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣州510006

2.黃埔海關(guān)技術(shù)中心，廣東 東莞523076

X光安檢是一項(xiàng)成熟的安檢技術(shù)，廣泛應(yīng)用于各種公眾安檢領(lǐng)域。X光能夠穿透物體產(chǎn)生透視圖像，可清晰看到和檢查行李中的物品。目前X光圖像違禁品檢查還需安檢人員對X光圖像進(jìn)行判別[1]，但其工作量和工作強(qiáng)度巨大，尤其是人員流動(dòng)的高峰期，安檢人員難以進(jìn)行快速判別。安檢人員安檢準(zhǔn)確率為80%~90%[2]，物體在行李中堆放位置及其角度呈現(xiàn)出高度的不確定性，物體非標(biāo)準(zhǔn)平面圖像比標(biāo)準(zhǔn)平面圖像識(shí)別難度更大，因此自動(dòng)安檢成為安檢領(lǐng)域的必然趨勢。

近年來深度學(xué)習(xí)在圖像處理方面取得大量成果[3]?；谏疃葘W(xué)習(xí)的X光圖像違禁品研究文獻(xiàn)逐漸增加，針對X光違禁品檢測應(yīng)用研究現(xiàn)狀，對違禁品檢測技術(shù)進(jìn)行歸納與總結(jié)，分析該領(lǐng)域內(nèi)存在的不足與值得關(guān)注的方向。首先介紹X光成像相關(guān)技術(shù)及其特點(diǎn)，然后探討傳統(tǒng)機(jī)器學(xué)習(xí)的X光違禁品檢測方法，分析基于深度學(xué)習(xí)的X光圖像違禁品檢測算法研究，最后總結(jié)現(xiàn)有研究的不足并對未來發(fā)展方向進(jìn)行展望。

1 X光成像技術(shù)

X射線由德國物理學(xué)家倫琴于1895年發(fā)現(xiàn)，其能量很強(qiáng)，波長很短，可穿透物質(zhì)。X射線在醫(yī)療、工業(yè)檢測、公共安全等領(lǐng)域發(fā)揮著極其重要的作用。X光成像技術(shù)主要有透視成像技術(shù)、背散射成像技術(shù)和計(jì)算機(jī)斷層掃描技術(shù)（CT）等。

背散射技術(shù)利用康普頓散射原理進(jìn)行成像，X光遇到物體會(huì)產(chǎn)生大量散射光子，散射強(qiáng)度與物體原子序數(shù)有關(guān)，通過散射光子進(jìn)行探測成像。背散射技術(shù)能有效檢測違禁物品，特別是液體違禁品、炸藥等[4]，但其缺點(diǎn)是穿透能力差，成像分辨率低。

CT技術(shù)從20世紀(jì)70年代問世以來，因其在物質(zhì)探測方面的優(yōu)秀性能，廣泛應(yīng)用于醫(yī)療診斷、工業(yè)檢測領(lǐng)域。X光掃描一定厚度的物體斷面，然后利用計(jì)算機(jī)進(jìn)行三維重建獲得物體形狀、密度、有效原子序數(shù)和質(zhì)量等信息，但設(shè)備價(jià)格昂貴，在醫(yī)療上使用較多。

目前公共檢查領(lǐng)域大量使用X光透視技術(shù)進(jìn)行安檢，透視成像分為單能X光透視成像和雙能X光透視成像，其中單能X光透視成像最基礎(chǔ)，使用時(shí)間也最早。單能X光透視成像為灰度圖，但單能透視成像無法區(qū)分物體的材質(zhì)，因此目前公共場合通常采用雙能X光。雙能X光使用高低能兩個(gè)射線管，根據(jù)物體對高低能射線吸收系數(shù)不同，將兩個(gè)不同物質(zhì)、不同厚度的物體區(qū)分出來更便于安檢人員對物體進(jìn)行分辨[5]。

2 傳統(tǒng)機(jī)器學(xué)習(xí)違禁品X光圖像檢測應(yīng)用

傳統(tǒng)機(jī)器學(xué)習(xí)X光圖像檢測使用手工特征和分類器進(jìn)行分類，定位信息則由滑窗方式進(jìn)行獲取[6]。在傳統(tǒng)X光圖像檢測中視覺詞袋模型（Bag-of-Visual-Words，BOVW）被使用頻率最高。圖1是視覺詞袋模型分類流程。傳統(tǒng)機(jī)器學(xué)習(xí)檢測方法可分為X光單視圖檢測和X光多視圖檢測。

圖1 視覺詞袋模型分類流程Fig.1 Classification process of BOVW

2.1 X光單視圖檢測

早期機(jī)器學(xué)習(xí)違禁品檢測研究中使用單視圖進(jìn)行檢測較多。視覺詞袋模型在X光圖像分類上有較好的適應(yīng)性，可用于減少安檢人員的工作量[7]。Turcsany等[8]使用支持向量機(jī)（Support Vector Machine，SVM）和SURF（Speeded-Up Robust Features）特征建立視覺詞袋模型，通過特征描述符類的聚類得到啟動(dòng)視覺詞，并將其用于視覺詞袋模型中的圖像編碼，對雙能X光圖像中的違禁品進(jìn)行識(shí)別，驗(yàn)證了使用大型和具有代表性的數(shù)據(jù)集可提升分類任務(wù)的效果?；陔[式形狀模型（Implicit Shape Model，ISM）對單一視角圖像違禁品進(jìn)行識(shí)別也有較好效果[9]。王宇等[10]提出一種基于Tamura紋理特征和隨機(jī)森林分類方法，對四類違禁品進(jìn)行特征提取和分類，特征表示分別使用共生矩陣和Tamura特征，分類器使用隨機(jī)森林、AdaBoost、決策樹和貝葉斯網(wǎng)絡(luò)進(jìn)行對比，結(jié)果顯示Tamura特征組合隨機(jī)森林分類器分類性能最好。Zhang等[11]使用X光圖像顏色、紋理、形狀和邊緣特征等底層特征挖掘圖像的高級(jí)特征來進(jìn)行違禁品檢測。文獻(xiàn)[6]在基于傳統(tǒng)手工特征的X光圖像分類檢測任務(wù)上做了大量工作和實(shí)驗(yàn)，將多種手工特征進(jìn)行組合實(shí)驗(yàn)，全面展示了傳統(tǒng)手工特征在X光圖像檢測任務(wù)上的性能。

2.2 X光多視圖檢測

由于單視圖檢測沒有考慮多視圖間關(guān)系對物體檢測帶來的性能提升，有學(xué)者采用多視圖對物體的多個(gè)角度成像然后進(jìn)行檢測。Franzel等[12]使用SVM組合梯度直方圖進(jìn)行滑窗檢測，引入多視角集成方法處理平面物體的旋轉(zhuǎn)，實(shí)驗(yàn)證明使用多視圖可有效提高檢測性能。Bastan等[13]基于視覺詞袋模型提出一種綜合評(píng)價(jià)圖像分類和目標(biāo)檢測的標(biāo)準(zhǔn)局部特征，然后擴(kuò)展特征來獲取雙能X光中額外有用的信息，實(shí)驗(yàn)表明使用多視圖可提高定位精度，從而提高檢測性能。Mery等[14]提出一種基于序列的多視圖識(shí)別X光圖像物體的自適應(yīng)檢測方法，從不同角度采集目標(biāo)的各個(gè)部分，建立多視圖幾何模型，尋找不同視圖間對應(yīng)關(guān)系，同時(shí)結(jié)合單視圖檢測和多視圖檢測分析跟蹤物體。該方法可減少由于單視角檢測產(chǎn)生的誤檢，增加算法的魯棒性。Mery等[15]提出了一種識(shí)別方法，將檢測應(yīng)用于單視角圖像，尋找感興趣的目標(biāo)，然后在多視角X光圖像上進(jìn)行匹配，減少單視圖檢測時(shí)產(chǎn)生的誤報(bào)。

表1 對單視圖檢測與多視圖檢測進(jìn)行了對比分析。

表1 單視圖檢測與多視圖檢測對比Table 1 Comparison of single view detection and multi-view detection

3 深度學(xué)習(xí)的違禁品X光圖像檢測應(yīng)用

3.1 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)使多層非線性網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，在語音、圖像、文本等領(lǐng)域發(fā)揮重要作用[16]。目標(biāo)檢測是圖像處理領(lǐng)域中重要的問題，基于深度學(xué)習(xí)的目標(biāo)檢測算法可應(yīng)用于各種檢測領(lǐng)域，例如公共場所吸煙檢測[17]和病灶檢測[18]等。近年來深度學(xué)習(xí)得到突破性發(fā)展，將其應(yīng)用于目標(biāo)檢測任務(wù)也使目標(biāo)檢測領(lǐng)域獲得突飛猛進(jìn)的發(fā)展[19]。

2012年Krizhevsky等[20]提出的AlexNet網(wǎng)絡(luò)在圖像分類上取得成功，表明深度學(xué)習(xí)在圖像處理中的優(yōu)秀性能。在AlexNet取得巨大成功后VGG[21]、GoogleNet[22]、ResNet[23]等各種分類網(wǎng)絡(luò)相繼推出，深度學(xué)習(xí)的分類性能不斷得到提高。目標(biāo)檢測算法可分為單階段檢測算法和兩階段檢測算法，兩階段檢測算法最經(jīng)典的模型是R-CNN[24]。R-CNN由Girshick等于2013年提出，模型提取約2 000個(gè)候選區(qū)域作為輸入，經(jīng)過AlexNet提取特征，使用SVM和回歸器進(jìn)行分類和定位。以R-CNN為基礎(chǔ)不斷進(jìn)行改進(jìn)，SPP-Net[25]、Fast R-CNN[26]和Faster R-CNN[27]等都是改進(jìn)后的優(yōu)秀模型。單階段檢測算法與兩階段檢測算法不同，其實(shí)現(xiàn)端對端訓(xùn)練和檢測，因此單階段檢測算法檢測速度快，滿足實(shí)時(shí)性要求。單階段檢測算法中有許多優(yōu)秀的模型，其中YOLOv3[28]、YOLOv4[29]、SSD[30]、FSSD[31]都是檢測速度與檢測精度平衡的檢測模型。

3.2 X光圖像數(shù)據(jù)集

深度學(xué)習(xí)目標(biāo)檢測模型的提出及其解決的問題大多是基于光學(xué)圖像，公開的光學(xué)圖像數(shù)據(jù)集獲取容易，而且制作成本不高，但X光圖像的獲取較為困難，必須使用專業(yè)設(shè)備進(jìn)行獲取。目前適用于違禁品檢測的X光數(shù)據(jù)集有GDXray[32]、SIXray[33]和天池津南數(shù)字制造算法比賽數(shù)據(jù)集[34]。

GDXray是首個(gè)公開的X光圖像大型數(shù)據(jù)集，包含8 150張X光行李圖像，數(shù)據(jù)集中有槍支、手里劍和刀片違禁品。GDXray數(shù)據(jù)集中的數(shù)據(jù)都是灰度圖，其中目標(biāo)輪廓清晰容易區(qū)分，背景簡單，物體重疊和遮擋現(xiàn)象較少。

(3)裕固族傳統(tǒng)體育的發(fā)展與當(dāng)?shù)氐慕?jīng)濟(jì)、文化教育事業(yè)發(fā)展步伐不一致，使裕固族傳統(tǒng)體育的自身功能衰退，阻礙了裕固族傳統(tǒng)體育的發(fā)展。

SIXray數(shù)據(jù)集提供超過100萬張X光圖像，其中有六類目標(biāo)分別是槍、刀、扳手、鉗子、剪刀和錘子，包含目標(biāo)的標(biāo)記圖像有8 929張。SIXray數(shù)據(jù)集中目標(biāo)物體堆放隨機(jī)性相當(dāng)大，圖像中背景復(fù)雜且其中物體存在嚴(yán)重的重疊和遮擋。

天池津南數(shù)字制造算法比賽數(shù)據(jù)集針對危險(xiǎn)品、限制品和特殊物品三大類物品細(xì)分出五類目標(biāo)，分別是鐵殼打火機(jī)、黑釘打火機(jī)、刀具、電池電容和剪刀。該數(shù)據(jù)集中目標(biāo)數(shù)量多，堆放角度和位置隨機(jī)性大，背景較雜亂。

3.3 深度學(xué)習(xí)方法與傳統(tǒng)方法對比

深度學(xué)習(xí)擁有多層神經(jīng)網(wǎng)絡(luò)，其分類性能優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法。深度學(xué)習(xí)廣泛應(yīng)用于檢測領(lǐng)域，在X光圖像檢測領(lǐng)域也大量使用深度學(xué)習(xí)。Akcay等[35]首次將深度學(xué)習(xí)引入到X光圖像的行李分類檢測，使用遷移學(xué)習(xí)將AlexNet網(wǎng)絡(luò)應(yīng)用于X光圖像行李分類的研究；對比傳統(tǒng)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)表現(xiàn)出優(yōu)秀的檢測性能和魯棒性。Mery等[1]在GDXray數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，使用基于詞袋模型、稀疏表示、深度學(xué)習(xí)和經(jīng)典模式識(shí)別方案進(jìn)行檢測實(shí)驗(yàn)。AlexNet和GoogleNet都能達(dá)到相當(dāng)高的識(shí)別率，說明使用深度學(xué)習(xí)方法設(shè)計(jì)自動(dòng)的違禁品識(shí)別設(shè)備的可行性。Akcay等[36]將基于滑動(dòng)窗口的CNN模型與基于候選區(qū)域的檢測模型的檢測性能進(jìn)行了對比。Akcay等[37]將深度學(xué)習(xí)分類網(wǎng)絡(luò)與視覺詞袋模型進(jìn)行對比，使用多種深度學(xué)習(xí)分類模型與手工特征處理二分類問題，實(shí)驗(yàn)表明深度學(xué)習(xí)分類性能優(yōu)于視覺詞袋模型，更適合X光圖像分類任務(wù)。以上文獻(xiàn)的研究表明了深度學(xué)習(xí)在X光圖像檢測上的適應(yīng)性和魯棒性。表2對深度學(xué)習(xí)方法與傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行了對比。

表2 深度學(xué)習(xí)方法與傳統(tǒng)機(jī)器學(xué)習(xí)方法對比Table 2 Comparison of deep learning methods and traditional machine learning methods

3.4 小目標(biāo)檢測

安檢中行李一般較大，但隱藏在行李中的違禁品很小，例如小刀、槍支部件等，此類小物件給檢測造成了一定的困難。提高小目標(biāo)檢測性能方法有使用多尺度特征融合、多尺度錨框以及多卷積模塊等，如圖2所示。多尺度特征融合可擴(kuò)大深度學(xué)習(xí)模型的感受野，同時(shí)增加特征復(fù)用，將不同深度特征進(jìn)行融合以提高小目標(biāo)檢測性能。為解決X光圖像中小目標(biāo)漏檢誤檢問題，吉祥凌等[38]在SSD基礎(chǔ)上使用多尺度特征融合提高小目標(biāo)檢測效果。在輸入模型訓(xùn)練前將圖像壓縮到固定尺寸，但這會(huì)一定程度降低檢測精度，改進(jìn)網(wǎng)絡(luò)將大圖像進(jìn)行分區(qū)域檢測可改善上述問題。加入多尺度錨框可增加模型對于不同尺度目標(biāo)的感應(yīng)能力。張友康等[39]基于SSD網(wǎng)絡(luò)進(jìn)行改進(jìn)，在該模型中加入小卷積非對稱模塊、多尺度特征圖融合模塊等以提升模型對小目標(biāo)的檢測效果。郭守向等[40]在YOLOv3的基礎(chǔ)上將其主干網(wǎng)絡(luò)改為兩個(gè)DarkNet組合而成的新骨干網(wǎng)絡(luò)，引入6層卷積的特征增強(qiáng)模塊增強(qiáng)小目標(biāo)的檢測效果。對于Faster R-CNN模型對小目標(biāo)不敏感問題，康佳楠等[41]對Faster R-CNN進(jìn)行改進(jìn)，將原本單卷積層提取特征提升為三層，同時(shí)提出多通道區(qū)域建議網(wǎng)絡(luò)提高小目標(biāo)檢測效果。在網(wǎng)絡(luò)中加入多種卷積模塊也可一定程度提高小目標(biāo)檢測性能，Zhang等[42]在FSSD的基礎(chǔ)上添加空洞卷積和殘差模塊提高模型對小目標(biāo)的檢測效果。

圖2 小目標(biāo)檢測策略Fig.2 Small object detection strategy

3.5 特征提取策略

由于X光特殊的成像原理，其成像存在細(xì)節(jié)信息丟失和顏色信息丟失以及物體重疊等問題，針對這些特點(diǎn)優(yōu)化算法可提高模型的性能。Liu等[43]針對X光圖像前景和后景的亮暗差別明顯特點(diǎn)，基于X光特定的顏色信息提出一種前景-后景分割方法，分割后可將大部分無用的后景去掉以提高檢測性能，但其背景劃分方法簡單，泛化性能不足。X光圖像可獲取豐富的物體輪廓信息，Hassan等[44]利用X光圖像中物體的輪廓信息經(jīng)過級(jí)聯(lián)結(jié)構(gòu)張量技術(shù)生成一系列張量，然后導(dǎo)出目標(biāo)建議，再經(jīng)過基于輪廓和建議提取目標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測。該改進(jìn)措施可提升深度學(xué)習(xí)模型的檢測精度，但舍棄了圖像的細(xì)節(jié)紋理信息。對于遮擋問題，張友康等[39]提出空洞多視野卷積模塊，使用不同尺度的卷積核、不同膨脹率的空洞卷積以及直聯(lián)卷積，增強(qiáng)模型在全局視野下對遮擋目標(biāo)的學(xué)習(xí)。此外，加入注意力模塊也能有效解決遮擋問題，Li等[45]將語義分割網(wǎng)絡(luò)與Mask R-CNN組合成雙階段CNN模型，使用語義分割網(wǎng)絡(luò)的結(jié)果作為Mask R-CNN軟注意掩碼，以改善X光圖像中物體重疊導(dǎo)致的性能下降問題。利用雙能X光圖像的特性，將有機(jī)物和無機(jī)物進(jìn)行分離更有利于違禁品檢測。Zhang等[46]提出XMC R-CNN模型，首先利用X射線材料分類器算法以及有機(jī)剝離和無機(jī)剝離算法解決重疊X光行李圖像中的違禁品檢測問題，然后進(jìn)行目標(biāo)檢測。

3.6 異常分類

違禁品在正常情況下出現(xiàn)的概率很小，因此可將違禁品出現(xiàn)作為異常?；趯Ω信d趣區(qū)域定位的思想，Gaus等[47]提出一種雙CNN結(jié)構(gòu)的兩階段檢測方法。第一階段在X光圖像上找出感興趣區(qū)域提供定位信息給第二階段，第二階段獲得定位信息后采用SqueezeNet、VGG16以及ResNet進(jìn)行異常分類，但該方法總體結(jié)構(gòu)復(fù)雜，第二階段異常分類精度不夠理想。對于異常樣本遠(yuǎn)遠(yuǎn)少于正常樣本的問題，Akcay等[48]提出一種新的編碼器-解碼器-編碼器模型，用于條件生成對抗網(wǎng)絡(luò)，捕獲圖像和潛在向量空間中的訓(xùn)練數(shù)據(jù)分布，檢測出X光圖像中的異常類，但該方法對一些相似形狀的目標(biāo)難以區(qū)分。為解決X光違禁品分類效率低和準(zhǔn)確度不足問題，吳海濱等[49]提出將X光圖像進(jìn)行高低頻分解，使用八度卷積來替代傳統(tǒng)卷積，同時(shí)引入注意力機(jī)制雙向門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)，有效提高了模型分類速度和準(zhǔn)確度。

3.7 模型可轉(zhuǎn)移性

文獻(xiàn)[35]將深度學(xué)習(xí)引入到X光檢測領(lǐng)域時(shí)就使用了遷移學(xué)習(xí)。遷移學(xué)習(xí)可加快模型收斂速度，但遷移學(xué)習(xí)是有限制的，要保證訓(xùn)練域與目標(biāo)域有相似性[50]，將光學(xué)圖像數(shù)據(jù)集訓(xùn)練出來的權(quán)重直接應(yīng)用到X光檢測中會(huì)限制模型的性能[1]。Galvez等[51]基于YOLOv3使用遷移學(xué)習(xí)和從零開始學(xué)習(xí)進(jìn)行對比實(shí)驗(yàn)。從零開始訓(xùn)練的損失比遷移學(xué)習(xí)的損失更小且平均精確度更高，從零開始訓(xùn)練的性能明顯優(yōu)于遷移學(xué)習(xí)。在不同X光數(shù)據(jù)集中訓(xùn)練的模型可轉(zhuǎn)移，但模仿違禁品的金屬物品容易被檢測為違禁品[52]。由于不同X光成像設(shè)備的成像方式、成像質(zhì)量以及穿透能力等方面具有差異性，這種差異性導(dǎo)致不同域數(shù)據(jù)集進(jìn)行檢測時(shí)會(huì)出現(xiàn)檢測精度下降問題。為了解決這個(gè)問題，何彥輝等[53]提出一種基于上下文的透射率自適應(yīng)域?qū)R方法，使用注意力機(jī)制解決不同域數(shù)據(jù)的顏色差異問題，再將多分率特征對齊，最后使用上下文向量作為對抗訓(xùn)練的正則化，利用鄰域信息提高檢測精度，但小目標(biāo)、顏色相近物體重疊，容易出現(xiàn)誤檢。

3.8 語義分割

深度學(xué)習(xí)目標(biāo)檢測算法能提供目標(biāo)的位置和分類信息，但不能提供目標(biāo)的形狀信息，若能將目標(biāo)形狀劃分出來將更有利于違禁品的檢測工作。Xu等[54]提出將圖像分割和注意力機(jī)制結(jié)合來獲取違禁品位置、類別、形狀信息，但其定位精度不高，檢測速度也相對較慢。語義分割將圖像中的每一個(gè)像素都進(jìn)行分類，因此不僅可提供目標(biāo)的位置信息，還能提供目標(biāo)的形狀信息。An等[55]將語義分割算法應(yīng)用在違禁品檢測任務(wù)中，提出一種通道注意和空間注意結(jié)合的雙重注意分割網(wǎng)絡(luò)。雙重注意的使用能有效提高平均交并比（mean Intersection over Union，mIoU）。該方法能獲得精確的分割結(jié)果，但其分割速度較慢，多目標(biāo)檢測受限。蘇志剛等[56]使用語義分割算法進(jìn)行違禁品檢測，使用空洞空間金字塔卷積模塊和注意力機(jī)制提升模型的特征提取能力，同時(shí)使用1×1卷積輕量化模型，提升模型的效率，分割網(wǎng)絡(luò)有效地將X光圖像中的多目標(biāo)分割出來。Chouai等[57]提出CH-Net，將深度卷積網(wǎng)絡(luò)與對抗式自編碼器結(jié)合起來，其中編碼器通過壓縮圖像產(chǎn)生一個(gè)潛在空間，該潛在空間中的所有特征都不相關(guān)，使得每個(gè)特征都捕捉到輸入圖像的一個(gè)獨(dú)特的、特定的特征，有效提高語義分割的效果。對于顏色信息不豐富的X光圖像，加入灰度通道進(jìn)行訓(xùn)練也能提高訓(xùn)練效果。Kim等[58]在U-Net的基礎(chǔ)上提出O-Net，加入灰度圖像，使用兩個(gè)編碼器和兩個(gè)解碼器分別處理彩色圖和灰度圖，使神經(jīng)網(wǎng)絡(luò)的輸出性能最大化，其分割得到的目標(biāo)檢測精度優(yōu)于YOLOv3，但模型結(jié)構(gòu)更復(fù)雜，參數(shù)更多。

3.9 數(shù)據(jù)增廣

深度學(xué)習(xí)模型效果與數(shù)據(jù)的豐富度有極大的相關(guān)性，在一定程度上可認(rèn)為數(shù)據(jù)決定模型可發(fā)揮的最優(yōu)性能。X光圖像的獲取十分困難，但是單單使用實(shí)驗(yàn)收集到的數(shù)據(jù)不足以讓深度學(xué)習(xí)模型充分學(xué)習(xí)圖像特征，因此數(shù)據(jù)增廣也是極為重要的一環(huán)。X光圖像在進(jìn)行數(shù)據(jù)增廣時(shí)需要考慮其特性、圖像數(shù)量以及多樣性才能獲得理想的效果[59]。Saavedra等[60]基于X射線的吸收定律疊加不同層的違禁品，使用孤立的違禁品和無違禁品圖像合成極為真實(shí)的違禁品X光圖像，同時(shí)使用GAN模型生成X光圖像，然后再進(jìn)行圖像合成，但僅對單能X光圖像進(jìn)行實(shí)驗(yàn)。使用GAN模型生成的圖像來擴(kuò)展數(shù)據(jù)有利于目標(biāo)檢測模型發(fā)揮更好的檢測性能[61]。使用GAN進(jìn)行圖像增廣時(shí)不僅需要考慮增廣的數(shù)量，還要考慮增廣的數(shù)據(jù)多樣性。Yang等[62]利用空間直角坐標(biāo)系對獲得的項(xiàng)目圖像進(jìn)行姿態(tài)分類，利用GAN生成具有新形狀、顏色或姿態(tài)的X光圖像，但生成的圖像存在扭曲、失真等情況。利用普通光學(xué)圖像與X光圖像的映射關(guān)系進(jìn)行圖形增廣能更有效地豐富數(shù)據(jù)增廣后的多樣性。Zhu等[63]提出了一種基于Cycle GAN將物品自然圖像轉(zhuǎn)換為X光圖像的方法，豐富新圖像的多樣性，包括物品的形狀和姿態(tài)，然后生成的違禁品圖像與背景圖像結(jié)合，合成新的X光安檢圖像，但是生成的圖像會(huì)出現(xiàn)扭曲變形。

近年來基于深度學(xué)習(xí)的X光圖像檢測研究大幅度增加，深度學(xué)習(xí)在該領(lǐng)域表現(xiàn)出不錯(cuò)的性能。研究者們在網(wǎng)絡(luò)改進(jìn)、引入新的模型、提出針對X光圖像特點(diǎn)的方法等方面做出巨大貢獻(xiàn)。表3從異常分類、目標(biāo)檢測、語義分割、數(shù)據(jù)增廣方面對已有關(guān)于深度學(xué)習(xí)的X光圖像違禁品研究工作做出總結(jié)。

表3 深度學(xué)習(xí)的違禁品X光圖像檢測應(yīng)用總結(jié)Table 3 Summary of applications of X-ray image detection of prohibited item based on deep learning

4 總結(jié)和展望

X光安檢技術(shù)為公共安全提供重要保障，但其巨大的工作量使自動(dòng)安檢成為研究熱點(diǎn)?；谏疃葘W(xué)習(xí)的檢測技術(shù)有效推動(dòng)了X光圖像違禁品檢測的發(fā)展。目前X光圖像違禁品檢測領(lǐng)域正處于快速發(fā)展階段，越來越多的研究將深度學(xué)習(xí)算法應(yīng)用于X光圖像違禁品檢測并取得大量成果。本文首先介紹X光成像特點(diǎn)和傳統(tǒng)機(jī)器學(xué)習(xí)檢測方法，詳細(xì)介紹深度學(xué)習(xí)模型在X光圖像違禁品檢測中的應(yīng)用，接著對X光違禁品檢測技術(shù)進(jìn)行分析總結(jié)。結(jié)合目前X光圖像目標(biāo)檢測與深度學(xué)習(xí)的發(fā)展方向，總結(jié)出未來值得關(guān)注的研究點(diǎn)。

（1）模型部署

目前學(xué)術(shù)上的研究成果很多，從分類、目標(biāo)檢測、語義分割、數(shù)據(jù)增廣等方面取得大量成果，但是在模型部署上的研究卻極少。主要原因在于目前的研究一般是在自制或公開的少量數(shù)據(jù)集中進(jìn)行的，沒有應(yīng)用于真實(shí)的公共場所中，用于訓(xùn)練的數(shù)據(jù)集中的違禁品種類和類型遠(yuǎn)遠(yuǎn)少于現(xiàn)實(shí)中可能出現(xiàn)的違禁品。深度學(xué)習(xí)模型對沒有訓(xùn)練過的數(shù)據(jù)難以識(shí)別，同時(shí)X光圖像訓(xùn)練數(shù)據(jù)少而目前的深度學(xué)習(xí)模型層數(shù)已相當(dāng)深，導(dǎo)致訓(xùn)練時(shí)容易出現(xiàn)過擬合現(xiàn)象?，F(xiàn)階段將深度學(xué)習(xí)模型部署到真實(shí)環(huán)境中進(jìn)行違禁品檢測仍相當(dāng)有難度，有大量難題需要在部署過程中克服，但模型部署是最后也是真正體現(xiàn)模型價(jià)值不可缺少的環(huán)節(jié)，因此在模型部署上需要進(jìn)行大量的研究和實(shí)驗(yàn)。

（2）針對X光圖像設(shè)計(jì)模型和訓(xùn)練模式

大多數(shù)算法是在已有模型上進(jìn)行改進(jìn)，這些模型設(shè)計(jì)時(shí)針對的對象是光學(xué)圖像，但是X光圖像和光學(xué)圖像有較大差異，僅改進(jìn)模型結(jié)構(gòu)難以獲得突破性的進(jìn)展。如何針對X光圖像背景復(fù)雜、遮擋嚴(yán)重、顏色細(xì)節(jié)信息少、輪廓信息明顯等特點(diǎn)，設(shè)計(jì)有針對性的特征提取算法與深度學(xué)習(xí)檢測模型還需更進(jìn)一步地研究。此外，目前的研究中大部分都使用了從光學(xué)圖像中預(yù)訓(xùn)練好的權(quán)重進(jìn)行遷移學(xué)習(xí)，但遷移學(xué)習(xí)會(huì)限制模型的檢測性能[1，51]。從零開始學(xué)習(xí)可更有效發(fā)揮模型性能，應(yīng)研究有效的從零開始學(xué)習(xí)模型或開發(fā)適用于X光圖像的預(yù)訓(xùn)練權(quán)重提高目標(biāo)檢測性能。

（3）結(jié)合大數(shù)據(jù)技術(shù)建立數(shù)據(jù)庫

X光圖像不像普通光學(xué)圖像那么容易收集，而且違禁品的類型和種類繁多，難以使用實(shí)驗(yàn)的方法進(jìn)行收集，雖然目前可用圖像變換和生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增廣，但其數(shù)據(jù)多樣性通常低于訓(xùn)練數(shù)據(jù)集多樣性。目前大數(shù)據(jù)技術(shù)已得到廣泛的應(yīng)用，如何將大數(shù)據(jù)技術(shù)部署于公共場所建立龐大現(xiàn)實(shí)數(shù)據(jù)庫，并將其中每一種違禁品進(jìn)行標(biāo)記以推動(dòng)X光圖像違禁品自動(dòng)檢測領(lǐng)域的發(fā)展是值得研究的問題。（4）結(jié)合更先進(jìn)的X光技術(shù)

X光透射技術(shù)可輕易獲取物體的形狀信息，但其特別的成像原理導(dǎo)致成像容易出現(xiàn)細(xì)節(jié)特征信息丟失、顏色信息丟失、重疊和遮擋等現(xiàn)象，給多目標(biāo)檢測帶來阻礙。CT技術(shù)可獲取物體形狀、原子序數(shù)、密度等有用信息，使用先進(jìn)的靜態(tài)CT技術(shù)可實(shí)現(xiàn)高速安檢[64]，多能、多角度X光設(shè)備可采集更多有用信息，這些信息有利于違禁品檢測，如何結(jié)合先進(jìn)的X光技術(shù)準(zhǔn)確快速檢測是值得關(guān)注的重點(diǎn)問題。