池盼盼, 梅琛楠, 王 焰, 肖 紅, 鐘躍崎,3

(1.東華大學(xué) 紡織學(xué)院, 上海 201620; 2.軍事科學(xué)院 系統(tǒng)工程研究院, 北京 100010;3.東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 上海 201620)

單兵迷彩偽裝是通過設(shè)計(jì)與背景極相似的迷彩紋理來降低偽裝對(duì)象與背景的區(qū)分度,通常作為軍事人員在戰(zhàn)場(chǎng)環(huán)境中的基本隱蔽手段,因此針對(duì)迷彩偽裝單兵的自動(dòng)檢測(cè)對(duì)于戰(zhàn)場(chǎng)偵察以及迷彩偽裝效果評(píng)估均具有重要的研究價(jià)值。

以往單兵迷彩偽裝效果的評(píng)估主要依靠主觀判別,耗時(shí)耗力。隨著技術(shù)的進(jìn)步,客觀自動(dòng)檢測(cè)方法得到越來越多的關(guān)注。Ariel等[1]提出了用于識(shí)別偽裝的Drag算子,該算子通過檢測(cè)梯度參數(shù)的零交叉點(diǎn),找到強(qiáng)度域中的凸結(jié)構(gòu)。Nagappa等[2]提取了斑塊級(jí)灰度共生矩陣表示紋理特征,然后通過聚類和分水嶺分割算法檢測(cè)偽裝對(duì)象。Song等[3]提出了一種由亮度、紋理方向和熵組成的偽裝紋理描述子,通過特征的權(quán)重結(jié)構(gòu)相似性來衡量偽裝紋理的性能。這些基于人工定義特征的檢測(cè)算法雖有一定的合理性,但對(duì)于含有大量環(huán)境信息的單兵迷彩偽裝檢測(cè)任務(wù)來說,難以捕捉到足夠的有效信息用于偽裝對(duì)象識(shí)別。

近年來,卷積神經(jīng)網(wǎng)絡(luò)被逐漸用于生物偽裝對(duì)象的自動(dòng)檢測(cè)領(lǐng)域。依據(jù)其技術(shù)特點(diǎn),大致可以分為3類:第1類是設(shè)計(jì)有針對(duì)性的網(wǎng)絡(luò)模塊/架構(gòu),以有效區(qū)分偽裝對(duì)象特征,如C2FNet、UGTR[6-8]。第2類是將一些輔助任務(wù)納入聯(lián)合學(xué)習(xí)/多任務(wù)學(xué)習(xí)框架,如分類任務(wù)、邊緣提取、顯著目標(biāo)檢測(cè)和偽裝目標(biāo)排序;這種方法可以從共享特征中挖掘有價(jià)值的額外線索,顯著增強(qiáng)(COD)的特征表示[9-11]。第3類是仿生算法[12-13],利用人類視覺的搜索機(jī)制來設(shè)計(jì)相似的神經(jīng)網(wǎng)絡(luò),以識(shí)別偽裝對(duì)象。

根據(jù)單兵迷彩偽裝與生物天然偽裝在技術(shù)原理上的相似性,Zheng等[4]搭建了密集反卷積網(wǎng)絡(luò)用于COD任務(wù),并構(gòu)建了包含不同場(chǎng)景下單兵迷彩偽裝的數(shù)據(jù)集。Fang等[5]在擴(kuò)展原有數(shù)據(jù)集的基礎(chǔ)上,設(shè)計(jì)了強(qiáng)語義膨脹卷積網(wǎng)絡(luò)構(gòu)建檢測(cè)模型。這些研究在一定程度上改善了檢測(cè)精度,但并未聚焦于中遠(yuǎn)距離下的單兵迷彩偽裝效果評(píng)價(jià),且泛化能力有限。

鑒于上述原因,本文從偽裝對(duì)象檢測(cè)的角度出發(fā),結(jié)合單兵迷彩偽裝檢測(cè)任務(wù)的實(shí)際需求,提出適用于單兵迷彩偽裝檢測(cè)的網(wǎng)絡(luò)模型BFNet(boundary-filled network),致力于檢測(cè)被遮擋目標(biāo)及小目標(biāo)。

1 數(shù)據(jù)準(zhǔn)備

本文利用Fang等[5]構(gòu)建的2 600張(854像素×480像素)單兵迷彩偽裝圖像集,按照6∶4的比例隨機(jī)劃分訓(xùn)練集與測(cè)試集。

為盡量消除神經(jīng)網(wǎng)絡(luò)對(duì)背景信息的過度依賴,同時(shí)提高單兵迷彩偽裝小目標(biāo)的占比,對(duì)上一步隨機(jī)劃分的訓(xùn)練集圖像以隨機(jī)尺寸裁剪(保留單兵迷彩目標(biāo)區(qū)域)。裁剪5次后,與原始的1 560張訓(xùn)練集圖像一起構(gòu)成最終訓(xùn)練集(共計(jì)9 360張)。圖1示出8張數(shù)據(jù)集中較難識(shí)別的部分典型圖像。

圖1 部分?jǐn)?shù)據(jù)集展示Fig.1 Examples of dataset

在此基礎(chǔ)上,為進(jìn)一步增強(qiáng)網(wǎng)絡(luò)模型的泛化性能,通過對(duì)輸入圖像進(jìn)行隨機(jī)旋轉(zhuǎn)(含水平翻轉(zhuǎn))、增加隨機(jī)噪聲,以及隨機(jī)色彩抖動(dòng)等方式進(jìn)行數(shù)據(jù)增廣,使模型對(duì)不同角度、不同光照度、不同色彩以及不同噪聲程度的圖像都有較好的適應(yīng)性。輸入神經(jīng)網(wǎng)絡(luò)的圖像尺寸統(tǒng)一調(diào)整為416像素×416像素。

2 基于BGNet的單兵迷彩偽裝檢測(cè)模型

本文在BGNet[14]的基礎(chǔ)上提出了BFNet,整體架構(gòu)如圖2所示,其中SCNet[15]用于圖像的特征提取;邊緣感知模塊 (EAM)用于檢測(cè)目標(biāo)邊緣;邊緣引導(dǎo)特征模塊 (EFM)利用EAM輸出的邊緣預(yù)測(cè)圖引導(dǎo)網(wǎng)絡(luò)定位并識(shí)別目標(biāo);相鄰連接解碼器 (NCD)用于融合EFM輸出特征以獲取更高級(jí)語義特征;上下文聚合模塊(CAM)用于聚合多級(jí)特征,以得到最后的輸出。

f1～f5為經(jīng)過SCNet不同卷積層輸出的多通道特征圖。

這里將Res2Net改為SCNet,用于提高檢測(cè)精度,引入NCD模塊以融合高級(jí)特征,并改進(jìn)其中的EFM模塊與CAM模塊,用于提高小目標(biāo)的識(shí)別率。

2.1 特征提取階段

不同于BGNet采用Res2Net作為骨干網(wǎng)絡(luò),本文使用帶有注意力機(jī)制的SCNet[15]作為骨干網(wǎng)絡(luò),從而使網(wǎng)絡(luò)更關(guān)注與目標(biāo)相關(guān)的信息而忽略其它的無效干擾。

圖3示出SCNet的自校準(zhǔn)卷積,可知輸入特征x被按通道拆分為2組,第1組x1將特征圖分為3個(gè)相同的分支,第1分支不作處理直接與經(jīng)過卷積后的第2分支特征加和,經(jīng)過Sigmoid函數(shù)作為注意力權(quán)重與第3分支相乘做一次卷積運(yùn)算,以此形成自校準(zhǔn)模塊,輸出特征圖為y1,與第2組特征x2卷積的輸出結(jié)果y2拼接,以此完成1個(gè)基本模塊的運(yùn)算,最終輸出結(jié)果為y。該模塊充分結(jié)合了逐元素相加、逐元素相乘以及通道拼接的多種特征融合方式,每個(gè)分支都與下個(gè)分支的特征融合,既能有效提取到更高級(jí)特征,也保留了原有的上下文關(guān)系。

注:Conv2D表示二維卷積。

2.2 邊緣引導(dǎo)階段

物體邊緣往往更具有辨識(shí)度而容易識(shí)別,利用預(yù)測(cè)得到的邊緣特征引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)是一種有效的手段,因此首先利用網(wǎng)絡(luò)感知目標(biāo)邊緣,再利用邊緣特征引導(dǎo)網(wǎng)絡(luò)識(shí)別目標(biāo)。改進(jìn)后邊緣引導(dǎo)模塊(EFM)如圖4所示。

注:D表示下采樣;Max pooling表示最大池化;?表示逐元相乘;Sum表示特征圖內(nèi)元素加和;Conv1D表示一維卷積;⊕表示逐元素相加;Conv2D表示二維卷積;GAP表示全局平均池化;fi為當(dāng)前的第i 級(jí)特征;fe為 邊緣預(yù)測(cè)值;Out 為模塊輸出值。

為使得網(wǎng)絡(luò)能夠關(guān)注目標(biāo)邊緣的周圍環(huán)境,本文對(duì)邊緣引導(dǎo)特征模塊(EFM)進(jìn)行改進(jìn)(如圖4所示)。具體而言,對(duì)邊緣感知模塊(EAM)輸出的邊緣預(yù)測(cè)圖上采樣,并經(jīng)過一次5×5的最大池化,與骨干網(wǎng)絡(luò)輸出的當(dāng)前特征fi相乘,從而得到當(dāng)前邊緣特征。由于邊緣特征在圖像中所占比例極少,本文采用對(duì)空間內(nèi)元素直接加和來降低空間維度獲取通道信息,使用一維卷積層學(xué)習(xí)各通道關(guān)系,通過非線性激活得到注意力權(quán)重,并與當(dāng)前特征fi相乘得到經(jīng)過邊緣特征注意力處理的特征圖fa,再與fi相加以獲取融合特征fm,融合特征fm經(jīng)過一層卷積后使用通道自注意力來引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí),最終得到輸出值Out。

2.3 上下文聚合階段

從邊緣引導(dǎo)模塊輸出的多級(jí)特征需要融合以形成最后的預(yù)測(cè)結(jié)果。為充分挖掘背景與前景的相互關(guān)系,本文將上一級(jí)經(jīng)過真值監(jiān)督的預(yù)測(cè)圖與當(dāng)前的特征相乘,得到前景特征f。并對(duì)上級(jí)預(yù)測(cè)圖取反后與當(dāng)前特征相乘,得到背景特征b以及當(dāng)前的全局特征c。將3種特征以通道拼接的方式相互組合,經(jīng)過1×1卷積降低通道數(shù),得到3種組合特征與全局特征,隨后,4組特征經(jīng)過不同感受野的卷積后,按通道拼接完成1次聚合過程。改進(jìn)后的上下文聚合模塊(CAM)如圖5所示。

注:U表示上采樣;-表示取反;?表示逐元相乘;Conv1×1表示1×1卷積;⊕表示逐元素相加;Conv3×3表示3×3卷積,其中D表示擴(kuò)張率;h為上一級(jí)高級(jí)特征;l 為當(dāng)前低級(jí)特征。

2.4 損失函數(shù)

對(duì)于目標(biāo)的分割,采用二值交叉熵(BCE)損失與交并比(IoU)[16]損失之和(用Li表示,i=1,2,3,4)。對(duì)于目標(biāo)邊緣的損失Le,采用Dice損失[17]以處理正負(fù)樣本不平衡問題。最終,損失函數(shù)的構(gòu)成為

L=L3+2×L2+4×L1+4×Le+4×L4

式中:L表示總損失;Li表示目標(biāo)分割第i級(jí)損失,即BCE與IoU損失之和;Le表示邊緣損失。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用臺(tái)式機(jī)的CPU為Intel(R) Xeon(R),型號(hào)為E5-2620,內(nèi)存為16GB,使用顯存為24GB的GeForce RTX 3090進(jìn)行訓(xùn)練。所用編程語言為Python 3.8,深度學(xué)習(xí)框架為PyTorch 1.11.0。

3.2 訓(xùn)練時(shí)的超參數(shù)設(shè)定

訓(xùn)練輪次為25,優(yōu)化器采用Adam,學(xué)習(xí)率初始值為1×10-4,隨迭代而衰減,輸入神經(jīng)網(wǎng)絡(luò)的圖像尺寸調(diào)整為416像素×416像素,批處理量為16。

3.3 評(píng)估指標(biāo)

式中,IoU(i)為第i個(gè)被評(píng)估圖像的交并比。IoU(i)大于0,被認(rèn)為識(shí)別到,用1表示;否則,未識(shí)別到,用0表示。

由于單兵迷彩偽裝對(duì)象的檢測(cè)更注重召回率,因此使用自適應(yīng)的F度量Fad:

式中:P為自適應(yīng)精度,%;R為自適應(yīng)召回率,%。P與R的閾值采用自適應(yīng)算法,即2倍的預(yù)測(cè)值均值。

3.4 BGNet模型方法先進(jìn)性分析

3.4.1 定性比較

單兵迷彩偽裝的檢測(cè)更針對(duì)小目標(biāo),往往需要在遠(yuǎn)距離被識(shí)別,而小目標(biāo)往往由于尺寸小,分辨率更低而難以被檢測(cè)。本文從訓(xùn)練集隨機(jī)選擇4幅圖片(M1,M2,M3,M4)與其它文獻(xiàn)方法進(jìn)行定性分析和消融實(shí)驗(yàn)分析,如圖6、7所示。本文網(wǎng)絡(luò)BFNet(第3列)相比未改進(jìn)網(wǎng)絡(luò)BGNet(第4列)能識(shí)別到更多小目標(biāo),而其它網(wǎng)絡(luò)PFNet[13],SINet-V2[12]以及C2FNet[6]只能部分識(shí)別到小目標(biāo),且識(shí)別精度差,容易判斷錯(cuò)誤。

注:圖中每行依次表示原圖和標(biāo)注真值以及使用不同網(wǎng)絡(luò)方法的檢測(cè)結(jié)果圖。

3.4.2 定量比較

3.5 消融實(shí)驗(yàn)

為驗(yàn)證改進(jìn)模塊的有效性,設(shè)計(jì)消融實(shí)驗(yàn)進(jìn)一步進(jìn)行分析,結(jié)果如表3所示。所有結(jié)果均采用第1節(jié)中的數(shù)據(jù)集進(jìn)行訓(xùn)練,并保持相同的數(shù)據(jù)增廣方式。

表3 消融實(shí)驗(yàn)的定量評(píng)估Tab.3 Quantitative evaluation for ablation studies

3.5.1 定性分析

按照表3中1#～5#所示消融實(shí)驗(yàn)方法,對(duì)比圖7中第3列(5#)與第6列(3#),可見改進(jìn)EFM后識(shí)別更準(zhǔn)確,網(wǎng)絡(luò)更關(guān)注邊緣的環(huán)境信息時(shí),有利于識(shí)別目標(biāo)。

注:圖中每行依次表示原圖和標(biāo)注真值以及使用不同網(wǎng)絡(luò)方法的檢測(cè)結(jié)果圖。

對(duì)比圖7中第5列(2#)與第7列(4#),可見改進(jìn)CAM后,識(shí)別到的對(duì)象更多,說明利用上級(jí)的預(yù)測(cè)值提供給網(wǎng)絡(luò)推理可增加模型的自信。

對(duì)比圖7中第4列(1#)與第7列(4#),可見同時(shí)改進(jìn)EFM與CAM后,其它網(wǎng)絡(luò)未能識(shí)別的對(duì)象基本都可以被識(shí)別,驗(yàn)證了改進(jìn)EFM與CAM的有效性。對(duì)比圖7中第3列(5#)與第7列(4#),第7列圖中雖全部被識(shí)別,但識(shí)別精度不高,與真值的交集程度低,而采用SCNet骨干模型后,識(shí)別精度提升,說明其自校準(zhǔn)模塊起到了實(shí)質(zhì)性的作用。

3.5.2 定量分析

采用原網(wǎng)絡(luò)BGNet為基準(zhǔn)模型,給出了消融實(shí)驗(yàn)的具體數(shù)據(jù)(如表3所示)。

3.5.2.1隨機(jī)裁剪進(jìn)行數(shù)據(jù)增廣的有效性 為驗(yàn)證第1節(jié)(數(shù)據(jù)準(zhǔn)備)中隨機(jī)尺寸裁剪圖像進(jìn)行數(shù)據(jù)增廣的有效性,設(shè)計(jì)了消融實(shí)驗(yàn),將原始數(shù)據(jù)集復(fù)制5次作為訓(xùn)練集,以保持與本文訓(xùn)練集數(shù)據(jù)量相同,表3中6#給出了利用該方法的評(píng)估結(jié)果?？梢钥吹?pA從0.820下降至0.815,表明檢測(cè)精度明顯下降。說明隨機(jī)裁剪圖片能使網(wǎng)絡(luò)充分學(xué)習(xí)目標(biāo)區(qū)域的上下文信息,從而達(dá)到更好的檢測(cè)效果。

3.5.2.3CAM的改進(jìn)效果 對(duì)比表3中的2#、4#可知,改進(jìn)CAM后I提升了0.51%,表明識(shí)別率進(jìn)一步提升,同時(shí),衡量結(jié)構(gòu)相似度的指標(biāo)S也得到提升。而Fad的提升,表明兼顧精度時(shí),召回率提升。

3.5.2.4改進(jìn)EFM與CAM的聯(lián)合作用 對(duì)比表3的1#、4#可知,采用改進(jìn)的EFM與CAM,pA略下降,但I(xiàn)值提升了1.87%。Fad的提升也表明了在EFM和CAM的聯(lián)合作用下,可以在兼顧精度的同時(shí)提升召回率。

4 結(jié)束語

本文提出基于邊緣填充的單兵迷彩偽裝小目標(biāo)檢測(cè)模型BFNet(boundary-filled network),能同時(shí)提高檢測(cè)精度與檢測(cè)率。在數(shù)據(jù)集處理上,針對(duì)單兵迷彩偽裝的數(shù)據(jù)集小,且單兵迷彩偽裝的背景較單調(diào)的問題,利用隨機(jī)裁剪背景的方式擴(kuò)充數(shù)據(jù)集,一方面減少網(wǎng)絡(luò)對(duì)背景的依賴,防止過擬合,另一方面能使小目標(biāo)放大,有利于網(wǎng)絡(luò)學(xué)習(xí)。在網(wǎng)絡(luò)架構(gòu)上,以BGNet模型為基礎(chǔ),采用SCNet(sparse complex-valued neural network)骨干網(wǎng)絡(luò),針對(duì)BGNet模型檢測(cè)小目標(biāo)困難,改進(jìn)了模塊結(jié)構(gòu),使網(wǎng)絡(luò)關(guān)注目標(biāo)邊緣的環(huán)境信息。結(jié)果表明本文所采用的數(shù)據(jù)增廣方式能提高檢測(cè)精度,所提出的改進(jìn)方法使得交并比識(shí)別率I提升,能識(shí)別到更多的小目標(biāo),而SCNet骨干模型的自校準(zhǔn)作用能改善檢測(cè)精度pA。與其它模型相比,所提出的模型BFNet能較準(zhǔn)確全面地識(shí)別出單兵迷彩偽裝小目標(biāo)。