趙 晴，張海剛，湯圣濤，毛 亮，孫紅星，楊金鋒

(1.深圳職業(yè)技術(shù)學(xué)院 粵港澳大灣區(qū)人工智能應(yīng)用技術(shù)研究院，廣東 深圳 518055；2.遼寧科技大學(xué) 電子與信息工程學(xué)院，遼寧 鞍山 114051；3.杭州市特種設(shè)備檢測(cè)研究院 電梯檢驗(yàn)一所，浙江 杭州 310051)

0 引 言

X光的透射成像模式會(huì)將待測(cè)物體從3D空間“壓縮”到2D空間，并且成像顏色單調(diào)，差異較小，而日常行李中的物品多雜亂無序，經(jīng)X光的透射，目標(biāo)間形成遮擋，不利于目標(biāo)檢測(cè)。同時(shí)物品大小形狀各異，姿態(tài)復(fù)雜多樣，尺度間的差異容易導(dǎo)致檢測(cè)模型忽略小尺寸目標(biāo)，嚴(yán)重影響違禁物品識(shí)別的可靠程度。

張友康等[1]改進(jìn)SSD算法，提出非對(duì)稱卷積多視野神經(jīng)網(wǎng)絡(luò)，提高了復(fù)雜背景下的多尺度違禁品目標(biāo)檢測(cè)精度。郭守向等[2]結(jié)合復(fù)合骨干網(wǎng)絡(luò)思想，改進(jìn)Yolo[3-6]算法，構(gòu)建了Yolo-C目標(biāo)檢測(cè)網(wǎng)絡(luò)，加入特征增強(qiáng)模塊，融合級(jí)聯(lián)后特征圖的特征，提高了違禁品目標(biāo)識(shí)別精度?？导验萚7]改進(jìn)Faster R-CNN，采用多層特征提取和多通道區(qū)域建議，融合圖像深層和淺層的特征信息，使圖像特征更全面，違禁品檢測(cè)精度更高。姚少卿等[8]使用輕量化分割網(wǎng)絡(luò)，設(shè)計(jì)空洞卷積和非對(duì)稱卷積模塊，違禁品識(shí)別精度和速度都得到了提高。蘇志剛等[9]加入空間金字塔卷積[10,11]，引入注意力機(jī)制監(jiān)督特征提取過程，在U-Net模型基礎(chǔ)上使用逐級(jí)上采樣操作，完成了多目標(biāo)違禁品識(shí)別任務(wù)。他們通常用候選框的方式來顯示檢測(cè)結(jié)果，需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，屬于強(qiáng)監(jiān)督方法。弱監(jiān)督方法通過建立模型，依靠圖像類別標(biāo)注信息學(xué)習(xí)類別間的共性，可以避免人工標(biāo)注X光安檢圖像時(shí)可能引入的不精確甚至是錯(cuò)誤標(biāo)注。

本文提出了適合X光安檢圖像違禁品檢測(cè)的網(wǎng)絡(luò)模型，改進(jìn)ResNet50網(wǎng)絡(luò)，以弱監(jiān)督算法ScoreCAM(Score-Weighted CAM)[12]為基礎(chǔ)，完成違禁品定位并實(shí)現(xiàn)可視化。設(shè)想了4種添加可變形卷積模型的形式，擴(kuò)大感受野后，在全局視野下捕捉小目標(biāo)，調(diào)整卷積核的形態(tài)，預(yù)測(cè)被遮擋的違禁品特征，能有效應(yīng)對(duì)X光安檢圖像中目標(biāo)多姿態(tài)變化、遮擋和小目標(biāo)漏檢的技術(shù)難題，提高違禁品檢出率。

1 安檢違禁品檢測(cè)模型

本文提出適合X光安檢違禁品圖像檢測(cè)的模型框架，如圖1所示，改進(jìn)的ResNet50模型結(jié)構(gòu)如圖2所示。訓(xùn)練階段將分好類的圖片送入弱監(jiān)督網(wǎng)絡(luò)模型，加入可變形卷積模塊，進(jìn)行多分類預(yù)測(cè)，得到分類權(quán)重。測(cè)試階段將訓(xùn)練好的權(quán)重送入弱監(jiān)督網(wǎng)絡(luò)模型，使用ScoreCAM算法，針對(duì)安檢違禁品存在的多姿態(tài)、小目標(biāo)問題，在弱監(jiān)督網(wǎng)絡(luò)模型加入可變形卷積模塊、空洞卷積模塊，便可完成多分類、目標(biāo)定位、目標(biāo)檢測(cè)任務(wù)。上述框架實(shí)現(xiàn)的關(guān)鍵所在是如何使模型生高質(zhì)量的類別熱力圖。

圖1 X光安檢違禁品模型

圖2 改進(jìn)ResNet50模型

模型的主干網(wǎng)絡(luò)采用ResNet50，它在深度神經(jīng)網(wǎng)絡(luò)中增加了殘差模塊，通過學(xué)習(xí)多個(gè)網(wǎng)絡(luò)層輸入、輸出之間的殘差，保證了輸入信息的完整性。殘差網(wǎng)絡(luò)結(jié)構(gòu)即使面對(duì)網(wǎng)絡(luò)層數(shù)不斷加深，也能在一定程度上減小網(wǎng)絡(luò)的過擬合程度和計(jì)算量，同時(shí)保證網(wǎng)絡(luò)的特征提取能力。ResNet50基礎(chǔ)模型分別用1×1，3×3，1×1的卷積堆疊，為了提高對(duì)目標(biāo)的檢測(cè)效果，在模型中加入了可變形卷積和空洞卷積，重點(diǎn)關(guān)注3×3的卷積，并設(shè)計(jì)了4種可變形卷積結(jié)構(gòu)。

1.1 ScoreCAM

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)具有優(yōu)秀的圖像語義信息提取能力，圖像中各目標(biāo)的位置、輪廓等信息是完整包含在圖像本身之中的，對(duì)CNN目標(biāo)特征進(jìn)行可視化，可以使本來只能用于分類的CNN具有目標(biāo)檢測(cè)能力。CNN一般由特征提取器與分類器組成，特征提取器負(fù)責(zé)提取圖像特征，分類器依據(jù)特征提取器提取的特征進(jìn)行分類，CNN深層特征圖富含高度抽象的類別特征，ScoreCAM基于深層特征圖進(jìn)行可視化來解釋CNN模型。ScoreCAM采取特征融合權(quán)重與特征圖線性加權(quán)融合的方式生成類激活映射圖，考慮到梯度的不穩(wěn)定性，在線性權(quán)重的設(shè)計(jì)中增加了置信度，不再和GradCAM(Gradient-weighted CAM)[13]一樣依賴梯度，權(quán)重設(shè)置更加合理，對(duì)安檢違禁品的定位效果進(jìn)一步得到提升。

(1)

其中

(2)

此過程將最后一層特征圖的各個(gè)通道看成一種特殊掩碼，進(jìn)行上采樣操作，再與輸入圖像逐像素相乘，在CNN中預(yù)測(cè)相應(yīng)通道的類別重要程度。

ScoreCAM的類別激活圖計(jì)算方式如下

(3)

其中

(4)

ScoreCAM的流程如圖3所示，階段一主要對(duì)特征圖進(jìn)行提取，提取到的特征圖進(jìn)行逐通道遍歷，針對(duì)每層的特征圖使用上采樣和歸一化操作，階段二把前一階段的通道作為掩碼，與輸入圖像逐像素相乘，在CNN中得到各類別對(duì)應(yīng)的響應(yīng)值CIC，并將CIC作為特征融合權(quán)重。階段三將階段一所提取的特征圖與CIC線性加權(quán)求和，得到最終可視化的結(jié)果。

圖3 ScoreCAM流程

在安檢違禁品檢測(cè)中，利用ScoreCAM的類別判別能力定位出違禁品區(qū)域，實(shí)現(xiàn)可視化，給出解釋的同時(shí)標(biāo)注出違禁品位置。

1.2 可變形空洞卷積模塊

卷積神經(jīng)網(wǎng)絡(luò)中卷積核的幾何結(jié)構(gòu)一般都是固定的矩形，針對(duì)幾何變換方面的建模能力是有限的。在實(shí)際安檢情境中，同種類的違禁品可能會(huì)存在不同的形態(tài)、大小以及視角等的變化，傳統(tǒng)的卷積無法較好處理這些問題，很可能造成漏檢，從而帶來巨大的安全隱患。

可變形卷積[14]的卷積核在每一個(gè)元素上額外增加了一個(gè)方向參數(shù)，這樣卷積核就能在訓(xùn)練過程中擴(kuò)展到很大的范圍?？勺冃尉矸e概括了多種尺度、長(zhǎng)寬比和旋轉(zhuǎn)的各種變換，可變形卷積采樣位置如圖4所示。在X光安檢中運(yùn)用可變形卷積，卷積核的形狀可以更接近違禁品特征。

圖4 可變形卷積采樣位置

為進(jìn)一步加強(qiáng)可變形卷積對(duì)幾何變換學(xué)習(xí)的能力，能夠?qū)W習(xí)各種不同形態(tài)、尺寸的違禁品特征，加入了調(diào)制機(jī)制，可變形卷積v2[15]不僅能對(duì)輸入進(jìn)行偏移，還可以調(diào)整各位置輸入的權(quán)重。給定一個(gè)有K個(gè)采樣位置的卷積核，wk和pk分別表示第k個(gè)位置的權(quán)重和預(yù)先設(shè)定好的偏移，令x(p) 和y(p) 分別表示輸入特征圖x和輸出特征圖y中位置p的特征，可調(diào)節(jié)的可變形卷積可以定義為

(5)

式中： Δpk和Δmk是第k個(gè)位置上的可學(xué)習(xí)的偏移和調(diào)節(jié)參數(shù)，調(diào)節(jié)參數(shù)Δmk∈[0,1]， Δpk為任意值?？勺冃尉矸ev2不僅學(xué)習(xí)了偏移還學(xué)習(xí)了采樣點(diǎn)的權(quán)重。

空洞卷積引入膨脹率參數(shù)，用來定義卷積核之間的間距，設(shè)置不同的膨脹率，得到不同的感受野，空洞卷積以低成本增加輸出單元上的感受野，同時(shí)還不需要增加卷積核大小，當(dāng)多個(gè)空洞卷積一個(gè)接一個(gè)堆疊在一起時(shí)，這種方式是非常有效的。

在X光安檢具體情況中，違禁品常常隨機(jī)分布在圖像的任意位置，并且存在尺寸很小的情況，想要將小目標(biāo)檢測(cè)出來，有一定的難度。為解決這個(gè)問題，在空洞卷積的基礎(chǔ)上再對(duì)卷積進(jìn)行可變形操作，一方面卷積核的形狀更加貼近目標(biāo)違禁品特征，另一方面擴(kuò)大了感受野，擁有更加豐富的語義信息，融合后不僅能學(xué)習(xí)到整體輪廓，對(duì)細(xì)節(jié)部分也能獲取更多信息，增加了小目標(biāo)違禁品的檢出率。

對(duì)在何處增加可變形卷積模型，本文設(shè)想了4種形式，并進(jìn)行了實(shí)驗(yàn)對(duì)比，卷積不同的修改位置如圖5所示。第一種形式是把ResNet50的Layer2至Layer4的conv2中3×3普通卷積都換成了可變形卷積，更多的可變形卷積可以更好學(xué)習(xí)目標(biāo)多姿態(tài)形態(tài)，但同時(shí)也帶來了更大的計(jì)算量。第二種形式僅將ResNet50的Layer4的conv2中3×3普通卷積換成了可變形卷積，將最后最關(guān)鍵的輸出層改為可變形卷積，能獲取最關(guān)鍵的語義信息，同時(shí)對(duì)原有網(wǎng)絡(luò)結(jié)構(gòu)改動(dòng)少，較好保留了原網(wǎng)絡(luò)的優(yōu)點(diǎn)，運(yùn)算速度也大大優(yōu)于第一種形式。第三種形式將ResNet50的Layer4的conv2中3×3普通卷積換成了空洞卷積，擴(kuò)大了感受野，運(yùn)算速度最快，接近第二種形式。第四種形式將ResNet50的Layer4的conv2中3×3普通卷積換成了可變形空洞卷積，卷積核貼近目標(biāo)違禁品特征基礎(chǔ)上進(jìn)行膨脹，輸出層尺度小，擁有感受野大，語義信息豐富，對(duì)原網(wǎng)絡(luò)改動(dòng)不大，運(yùn)算速度也優(yōu)于第一種形式。

圖5 卷積不同的修改位置

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

實(shí)驗(yàn)所用工作站配置了NVIDIA GeForce RTX 2070 GPU顯卡，Intel(R) Core(TM) i7-9700 CPU @ 3.00 GHz，內(nèi)存16 G，操作系統(tǒng)是Windows 10，使用pytorch深度學(xué)習(xí)框架和python語言編寫程序。

本文采集圖像所使用的安檢機(jī)可以將32 mm的鋼板穿透，單根實(shí)心銅芯的分辨能力是0.08 mm，成像方式是雙能偽著色成像。為更全面模擬真實(shí)的X光安檢情況，在各個(gè)采集階段，違禁品和包裹的擺放位置進(jìn)行了水平旋轉(zhuǎn)和翻轉(zhuǎn)，進(jìn)行多次采集。包裹背景分為有背景填充、無背景填充，填充物包括USB數(shù)據(jù)線、耳機(jī)、書本、塑料瓶等常見物品。由于神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，為保證數(shù)據(jù)集的數(shù)量充足并具有多樣性，本文所用的安檢圖像數(shù)據(jù)集經(jīng)數(shù)據(jù)增強(qiáng)后共有23 250張安檢違禁品圖片，分為7類，有充電寶、叉子、仿真手槍、水果刀、打火機(jī)、鉗子、剪子，具體數(shù)據(jù)見表1。這7類違禁品的X光圖像涵蓋了常見的違禁品圖像基本特征，水果刀、仿真手槍和鉗子屬于金屬類，打火機(jī)、充電寶屬于混合物類，叉子、剪刀屬于小目標(biāo)類。數(shù)據(jù)集樣本如圖6所示。

表1 X光安檢違禁品數(shù)據(jù)集

圖6 數(shù)據(jù)集樣本

2.2 評(píng)價(jià)指標(biāo)

由于使用弱監(jiān)督方法，并沒有對(duì)數(shù)據(jù)用候選框進(jìn)行標(biāo)注。但為了對(duì)結(jié)果進(jìn)行定量比較，本文做了補(bǔ)充實(shí)驗(yàn)。

為了更合理體現(xiàn)弱監(jiān)督算法的有效性，首先將測(cè)試圖片中的違禁品目標(biāo)進(jìn)行像素級(jí)別的語義分割，然后將弱監(jiān)督算法生成的熱力圖轉(zhuǎn)為掩模圖像，再將掩模圖像轉(zhuǎn)為二值圖像，進(jìn)行歸一化，最后使用語義分割準(zhǔn)確性評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，評(píng)估過程如圖7所示。

圖7 評(píng)估過程

實(shí)驗(yàn)為了評(píng)估X光安檢違禁品檢測(cè)的準(zhǔn)確性和檢測(cè)速度，采用以下5個(gè)評(píng)價(jià)指標(biāo)：像素準(zhǔn)確率(pixel accuracy，PA)、平均像素準(zhǔn)確率(mean pixel accuracy，MPA)、平均交并比(mean intersection over union，MIoU)、F1分?jǐn)?shù)(F1 score，F(xiàn)1)、頻權(quán)交并比(frequency weighted intersection over union，F(xiàn)WloU)。

在語義分割中，準(zhǔn)確率又稱為像素準(zhǔn)確率，定義為預(yù)測(cè)類別正確的像素?cái)?shù)占總像素?cái)?shù)的比例。計(jì)算方式如下

(6)

平均像素準(zhǔn)確率分別計(jì)算每個(gè)類被正確分類像素?cái)?shù)的比例，計(jì)算方式如下

(7)

平均交并比定義為模型對(duì)每一類預(yù)測(cè)的結(jié)果和真實(shí)值的交集與并集的比值，求和再平均的結(jié)果。計(jì)算方式如下

(8)

F1分?jǐn)?shù)是衡量模型精確度的一種指標(biāo)，又被稱為平衡F分?jǐn)?shù)(balanced score)，定義為精確率和召回率的調(diào)和平均數(shù)。計(jì)算方式如下

(9)

頻權(quán)交并比是根據(jù)每一類出現(xiàn)的頻率設(shè)置權(quán)重，權(quán)重乘以每一類的IoU并進(jìn)行求和。計(jì)算方式如下

(10)

式中：TP(true positive)是預(yù)測(cè)正確的正樣本，F(xiàn)P(false positive)是預(yù)測(cè)錯(cuò)誤的正樣本，TN(true negative)是預(yù)測(cè)正確的負(fù)樣本，F(xiàn)P(false positive)是預(yù)測(cè)錯(cuò)誤的負(fù)樣本，n是類別數(shù)。

2.3 對(duì)比實(shí)驗(yàn)

本文將ResNet-50作為基本框架，原網(wǎng)絡(luò)最后一層全連接層的輸入個(gè)數(shù)為2048，本文實(shí)驗(yàn)所用數(shù)據(jù)集共有7類，在用預(yù)訓(xùn)練的ResNet50模型進(jìn)行遷移訓(xùn)練時(shí)，我們需要對(duì)網(wǎng)絡(luò)的最后一層進(jìn)行替換，替換成我們想要的輸出分類數(shù)目7。在ImageNet大規(guī)模數(shù)據(jù)集訓(xùn)練好的深度學(xué)習(xí)模型上引入微調(diào)(Fine-tune)技術(shù)，在訓(xùn)練階段加入了可變形卷積，具體是將原網(wǎng)絡(luò)中l(wèi)ayer4中每個(gè)bottleneck中conv2里3×3的卷積換為可變形卷積。為避免訓(xùn)練時(shí)梯度下降算法陷入局部最小值，使用余弦退火學(xué)習(xí)率，通過突然提高學(xué)習(xí)率，來“跳出”局部最小值并找到通向全局最小值的路徑，加速模型的收斂，即使后期下降使得loss變小，也能較好地穩(wěn)步靠近局部最優(yōu)點(diǎn)。在神經(jīng)網(wǎng)絡(luò)做分類問題時(shí)，使用交叉熵作為損失函數(shù)。

圖8 訓(xùn)練結(jié)果

測(cè)試階段在弱監(jiān)督網(wǎng)絡(luò)模型中使用ScoreCAM算法，加入可變形空洞卷積，使用訓(xùn)練中第90個(gè)epoch得到的權(quán)重作為驗(yàn)證階段網(wǎng)絡(luò)的權(quán)重，最終得到驗(yàn)證結(jié)果。

為了選出更好的特征提取網(wǎng)絡(luò)，我們?cè)诔Ｓ玫腞esnet網(wǎng)絡(luò)和Vgg網(wǎng)絡(luò)做了對(duì)比實(shí)驗(yàn)，均采用ScoreCAM算法和訓(xùn)練中第90個(gè)epoch對(duì)應(yīng)的權(quán)重，實(shí)驗(yàn)結(jié)果如圖9和表2所示。從圖9可以觀察到，除了Vgg19的結(jié)果沒有被準(zhǔn)確檢測(cè)，其它的都被檢測(cè)到了，Resnet18和Resnet34的結(jié)果中，熱力圖覆蓋了過多無關(guān)區(qū)域，Resnet50的結(jié)果對(duì)違禁品目標(biāo)覆蓋較為全面且無關(guān)區(qū)域較少，Resnet101的結(jié)果中熱力圖覆蓋違禁品的區(qū)域不如Resnet50準(zhǔn)確，并且Resnet101網(wǎng)絡(luò)層數(shù)多，訓(xùn)練成本較大。

圖9 不同的特征提取網(wǎng)絡(luò)比較實(shí)驗(yàn)

從表2的刪除和插入實(shí)驗(yàn)中發(fā)現(xiàn)，Resnet50的插入值最大，刪除值低至1.76，僅次于Resnet101，可以得到和圖9一致的結(jié)論。綜合比較后，Resnet50網(wǎng)絡(luò)層數(shù)適中，違禁品檢測(cè)和定位效果佳，于是本文選用Resnet50作為特征提取網(wǎng)絡(luò)，結(jié)合弱監(jiān)督方法模型實(shí)現(xiàn)違禁品的檢測(cè)和定位。

表2 不同的特征提取網(wǎng)絡(luò)刪除和插入實(shí)驗(yàn)

為了驗(yàn)證ScoreCAM算法在X光安檢違禁品檢測(cè)中的有效性，本文將ScoreCAM算法與常用的GradCAM算法做了實(shí)驗(yàn)比較，均采用Resnet50特征提取網(wǎng)絡(luò)和訓(xùn)練中第90個(gè)epoch對(duì)應(yīng)的權(quán)重，結(jié)果如圖10所示。GradCAM檢測(cè)和定位效果不如ScoreCAM，ScoreCAM的插入值高于GradCAM，刪除值低于GradCAM，因此ScoreCAM的結(jié)果優(yōu)于GradCAM。

圖10 ScoreCAM結(jié)果對(duì)照實(shí)驗(yàn)

為了驗(yàn)證所改進(jìn)方法的有效性，我們進(jìn)行了諸多比較實(shí)驗(yàn)，使用ScoreCAM算法，在弱監(jiān)督網(wǎng)絡(luò)模型中不同的層分別加入可變形卷積、空洞卷積以及可變形空洞卷積，測(cè)試了小目標(biāo)類違禁品，卷積不同修改位置實(shí)驗(yàn)結(jié)果如圖11所示，定量結(jié)果如表3所示。

從圖11中可以發(fā)現(xiàn)，GradCAM定位不準(zhǔn)，沒有獲取目標(biāo)所在熱力圖，造成了漏檢，ScoreCAM的結(jié)果成功檢測(cè)并覆蓋了目標(biāo)物體，覆蓋目標(biāo)面積相比GradCAM擴(kuò)大了很多。在ScoreCAM中加入DCN Layer2-4后，目標(biāo)物體覆蓋面積進(jìn)一步加大，但無關(guān)區(qū)域覆蓋過多，改用DCN Layer4后，無關(guān)區(qū)域覆蓋面積有所減少。在ScoreCAM改用DCN Layer4后再加入空洞卷積，形成的結(jié)果圖顯示熱力圖幾乎完全包圍了目標(biāo)物體，而且無關(guān)區(qū)域已經(jīng)所剩無幾，取得了很好的效果，ScoreCAM+DCN Layer4+dilation4效果最佳，通過上述比較，可以得出ScoreCAM算法結(jié)合可變形空洞卷積在安檢違禁品檢測(cè)上可以在一定程度上解決小目標(biāo)漏檢以及定位不準(zhǔn)問題，可顯著提高小目標(biāo)檢測(cè)能力和定位能力。

圖11 小目標(biāo)對(duì)比實(shí)驗(yàn)

從表3中可以進(jìn)一步發(fā)現(xiàn)，總體來說隨著可變形卷積和空洞卷積的增加，各項(xiàng)數(shù)值均有提升，上文圖5設(shè)想的第一種形式把ResNet50的Layer2至Layer4的conv2中3×3普通卷積都換成了可變形卷積，過多的可變形卷積增加了模型的復(fù)雜度，帶來了更大的計(jì)算量，實(shí)驗(yàn)結(jié)果也并不使人滿意。第二種形式將ResNet50的Layer4的conv2中3×3普通卷積換成了可變形卷積，PA提升了1.2%，MIoU提升了0.4%，說明適當(dāng)增加可變形卷積可以提高小目標(biāo)檢測(cè)率。第三種形式將ResNet50的Layer4的conv2中3×3普通卷積換成了空洞卷積，實(shí)驗(yàn)結(jié)果大幅提升，說明增加空洞卷積可以提高小目標(biāo)檢測(cè)率。第四種形式將ResNet50的Layer4的conv2中3×3普通卷積換成了可變形空洞卷積，設(shè)置了不同的膨脹值，實(shí)驗(yàn)結(jié)果進(jìn)一步提升。dilation為4時(shí)，較第二種形式PA提升了3.3%，MPA提升了8.3%，MIoU提升了5%，F(xiàn)1提升了6.5%，F(xiàn)WIoU提升了3.3%。dilation設(shè)置更大時(shí)實(shí)驗(yàn)結(jié)果圖和實(shí)驗(yàn)數(shù)據(jù)改進(jìn)很小，結(jié)合表3以及模型復(fù)雜度比較，最終發(fā)現(xiàn)ScoreCAM+DCN Layer4+dilation4最為合適，由此也可驗(yàn)證可變形空洞卷積有效提高了違禁品目標(biāo)的定位能力和小目標(biāo)檢測(cè)能力。

表3 卷積修改結(jié)果對(duì)比/%

圖12以及表4顯示了大目標(biāo)對(duì)比實(shí)驗(yàn)的結(jié)果，通過對(duì)比發(fā)現(xiàn)ScoreCAM+DCN Layer4+dilation4比ScoreCAM的MPA提升了15.8%，MIoU提升了8.3%，F(xiàn)1提升了8.7%，F(xiàn)WIoU提升了0.6%，大幅提升的實(shí)驗(yàn)數(shù)據(jù)說明ScoreCAM算法結(jié)合可變形空洞卷積在安檢違禁品檢測(cè)上不僅可以在一定程度上解決小目標(biāo)漏檢以及定位不準(zhǔn)問題，也可以提高了較大目標(biāo)的檢測(cè)能力和定位能力，進(jìn)一步說明了本文算法的有效性。

表4 大目標(biāo)卷積修改結(jié)果對(duì)比/%

圖12 大目標(biāo)對(duì)比實(shí)驗(yàn)

為了驗(yàn)證可變形空洞卷積模塊在別的特征提取網(wǎng)絡(luò)以及弱監(jiān)督算法中依舊有效，本文做了相關(guān)對(duì)比實(shí)驗(yàn)。在表5中，均采用ScoreCAM算法和訓(xùn)練中第90個(gè)epoch對(duì)應(yīng)的權(quán)重，使用不同的特征提取網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)發(fā)現(xiàn)ResNet50的刪除和插入值優(yōu)于ResNet101和ResNet152，在加入了DCN Layer4+dilation4后，ResNet101和ResNet152的檢測(cè)效果也得到了相應(yīng)的提升，但ResNet50+DCN Layer4+dilation4的刪除和插入值依舊最佳，插入值高于其它網(wǎng)絡(luò)，刪除值在所有網(wǎng)絡(luò)中最低，違禁品目標(biāo)的檢測(cè)和定位效果均得到了一定程度的提升，綜合比較，ResNet50+DCN Layer4+dilation4的效果最佳，驗(yàn)證了可變形空洞卷積模塊的有效性。在表6中，均采用ResNet50和訓(xùn)練中第90個(gè)epoch對(duì)應(yīng)的權(quán)重，使用不同的弱監(jiān)督算法進(jìn)行實(shí)驗(yàn)，在加入DCN Layer4+dilation4后，不同的弱監(jiān)督算法的刪除值均有所降低，違禁品目標(biāo)的檢測(cè)和定位效果也更好。實(shí)驗(yàn)結(jié)果表明，可變形空洞卷積模塊在別的特征提取網(wǎng)絡(luò)以及弱監(jiān)督算法中依舊有效。

表5 不同特征提取網(wǎng)絡(luò)中驗(yàn)證可變形空洞卷積

表6 不同的弱監(jiān)督算法中驗(yàn)證可變形空洞卷積

3 結(jié)束語

本文提出了一種弱監(jiān)督機(jī)制下的X光安檢圖像違禁品檢測(cè)模型，改進(jìn)ResNet50，在ScoreCAM算法中融合可變形空洞卷積模塊，避免了人工標(biāo)注，能有效應(yīng)對(duì)多姿態(tài)、遮擋和小目標(biāo)漏檢的技術(shù)難題。算法有效改善了檢測(cè)性能，但同時(shí)速度也有所下降，隨著網(wǎng)絡(luò)的增大，GPU占用率也有所增加?，F(xiàn)實(shí)生活中旅客行李雜亂，違禁品種類數(shù)量繁多，形態(tài)各異，模型在解決這個(gè)問題上還不成熟，因此下一步工作是改進(jìn)模型解決多目標(biāo)違禁品檢測(cè)漏檢、遮擋的問題，來進(jìn)一步提高違禁品檢測(cè)準(zhǔn)確率。