高子凡, 張維忠,, 陳程立詔, 張宏峰

(1． 青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院, 山東 青島 266071; 2. 中國(guó)石油大學(xué)(華東), 山東 青島 266580; 3. 青島點(diǎn)之云智能科技有限公司, 山東 青島 266000)

目標(biāo)檢測(cè)[1]是通過給定圖像自動(dòng)提取感興趣區(qū)域,對(duì)可能包含物體的區(qū)域進(jìn)行檢測(cè)分類的任務(wù),它是機(jī)器視覺領(lǐng)域的核心問題之一[2],廣泛應(yīng)用于人臉支付或?qū)嵜J(rèn)證的人臉檢測(cè)場(chǎng)景,以及大地遙感及軍事檢測(cè)等遙感監(jiān)測(cè)領(lǐng)域[3]。傳統(tǒng)目標(biāo)檢測(cè)主要通過基于計(jì)算機(jī)視覺的方法設(shè)計(jì)手工特征,選定候選區(qū)域,對(duì)候選區(qū)域進(jìn)行特征提取并分類。但由于目標(biāo)的形態(tài)、光照變化及背景多樣性等因素影響,無(wú)法手工設(shè)計(jì)具備魯棒性的特征結(jié)構(gòu),特征的提取直接影響分類的準(zhǔn)確性。由于傳統(tǒng)方法的魯棒性較差,因此許多研究將卷積神經(jīng)網(wǎng)絡(luò)[4](convolutional neural network,CNN)應(yīng)用到目標(biāo)檢測(cè)。R.GIRSHICK等人[5]提出具有CNN特征的區(qū)域(RCNN)用于目標(biāo)檢測(cè);K.HE等人[6]提出了空間金字塔池化網(wǎng)絡(luò)( spatial pyramid pooling networks,SPPNet),使CNN生成固定長(zhǎng)度的表示;S. REN等人[7]提出了Faster RCNN檢測(cè)器,集成目標(biāo)檢測(cè)系統(tǒng)于端到端學(xué)習(xí)框架中。目前,以YOLO為代表的基于回歸方法的深度學(xué)習(xí)目標(biāo)檢測(cè)算法,如YOLO、SSD等算法,僅用一個(gè)CNN網(wǎng)絡(luò)預(yù)測(cè)不同目標(biāo)的類別與位置,在模型尺寸上占優(yōu)勢(shì)?；谝陨涎芯?本文提出基于改進(jìn)的YOLO v5s算法的多尺度包裹檢測(cè)方法。采用數(shù)據(jù)增強(qiáng)策略保證數(shù)據(jù)均衡,結(jié)構(gòu)上采用空洞空間卷積池化金字塔(atrous spatial pyramid pooling,ASPP)模塊,有效增加感受野;采用卷積注意力機(jī)制模塊(convolutional block attention module,CBAM),在大尺度目標(biāo)分類和檢測(cè)上改進(jìn)模型的性能。該模型通過工業(yè)掃碼設(shè)備,實(shí)現(xiàn)了對(duì)各尺度包裹的識(shí)別,使包裹與條形碼匹配對(duì)應(yīng),識(shí)別精度和效率均得到提高。

1 基于YOLO v5s的研究方法

本文提出一種改進(jìn)的YOLO v5s大尺度目標(biāo)檢測(cè)模型,對(duì)包裹與條形碼數(shù)據(jù)進(jìn)行采集與處理,并定義包裹和條形碼2個(gè)類別數(shù)據(jù)集。該模型針對(duì)大尺度包裹,采用ASPP模塊,通過不同的空洞率構(gòu)建不同感受野的卷積核,獲取多尺度包裹特征信息。該模型在復(fù)雜目標(biāo)與多尺度目標(biāo)問題中,通過轉(zhuǎn)換CBAM注意力機(jī)制,避免ASPP模塊對(duì)條形碼等小目標(biāo)的影響。

1.1 YOLO v5s模型

YOLO v5s由主干網(wǎng)絡(luò)[8](backbone)、頸部網(wǎng)絡(luò)(neck)及檢測(cè)頭(head)3部分構(gòu)成。backbone主要通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取,供后面網(wǎng)絡(luò)使用;Neck利用backbone提取不同層級(jí)的特征圖,生成不同尺度特征并進(jìn)行融合,提高模型的魯棒性[9];head利用提取的特征進(jìn)行分類檢測(cè)和回歸檢測(cè),得到模型預(yù)測(cè)輸出結(jié)果。

1.2 多尺度模塊ASPP

YOLO v5s存在3層檢測(cè)層,大尺度目標(biāo)的特征圖所包含的語(yǔ)義信息相對(duì)較少,由于數(shù)據(jù)集為復(fù)雜環(huán)境下所采集的灰度圖像,導(dǎo)致大尺度目標(biāo)的語(yǔ)義信息相對(duì)雜亂,易出現(xiàn)大目標(biāo)錯(cuò)檢漏檢情況。針對(duì)此現(xiàn)象,本文采用空洞空間ASPP模塊,充分利用不同尺度特征信息,對(duì)原有的特征圖以不同的采樣率[10]進(jìn)行空洞卷積采樣,以多個(gè)尺度捕捉圖像中的語(yǔ)義信息,特征圖以4個(gè)不同的采樣率進(jìn)行空洞卷積,呈指數(shù)級(jí)增加感受野,不需要改變圖像大小。ASPP模塊如圖1所示。對(duì)于所給定的輸入,在卷積核中按照rate=1,6,12,18的中間空洞間隙,捕捉多尺度上下文信息,呈指數(shù)級(jí)增加感受野,精確大尺度目標(biāo)的定位,但同時(shí)也影響到條形碼類別,即小尺度目標(biāo)的識(shí)別,因此本文加入CBAM注意力機(jī)制。

圖1 ASPP模塊

1.3 CBAM注意力機(jī)制

在8倍下采樣特征圖中,采用卷積注意力機(jī)制模塊通過通道維度和空間維度[11]依次學(xué)習(xí)特征,學(xué)習(xí)后的特征圖與輸入特征圖相乘,進(jìn)行自適應(yīng)特征細(xì)化,且不增加算法開銷,CBAM注意力機(jī)制如圖2所示。

圖2 CBAM注意力機(jī)制

在通道維度輸入特征圖,經(jīng)過并行的MaxPool層和AvgPool層,得到2個(gè)1×1通道權(quán)重矩陣,將特征圖維度從C×H×W變?yōu)镃×1×1,經(jīng)過Shared MLP模塊將通道數(shù)壓縮為原來的1/ r倍,經(jīng)過ReLU激活函數(shù)[12],擴(kuò)張到原通道數(shù),與原特征圖相加,通過sigmoid激活函數(shù)得到Channel Attention輸出結(jié)果,與原圖相乘生成中間特征圖,通道注意力如圖3所示。

圖3 通道注意力

通道注意力機(jī)制表達(dá)為

(1)

式中,σ表示sigmoid激活函數(shù);W0∈RC/r×C,W1∈RC×C/r,且MLP的權(quán)重W0和W1對(duì)于輸入是共享的;ReLU激活函數(shù)位于W0之后,W1之前。

將中間特征圖通過最大池化和平均池化壓縮成1×H×W的特征圖,經(jīng)過合并算法對(duì)2個(gè)特征圖進(jìn)行拼接,經(jīng)過sigmoid激活函數(shù)得到Spatial Attention的特征圖,將輸出結(jié)果與中間特征圖相乘,得到最終特征。空間注意力如圖4所示。

圖4 空間注意力

空間注意力機(jī)制表達(dá)式為

(2)

式中,σ表示sigmoid激活函數(shù);f7×7表示卷積核大小為7×7的卷積過程。

本研究CBAM注意力機(jī)制主要針對(duì)條形碼小目標(biāo),在負(fù)責(zé)檢測(cè)小目標(biāo)的8倍下采樣的80×80特征圖中,加入CBAM注意力模塊,屏蔽ASPP模塊對(duì)小尺度目標(biāo)產(chǎn)生的負(fù)面影響,提高小尺度目標(biāo)的準(zhǔn)確率。

1.4 模型的改進(jìn)

針對(duì)大尺度目標(biāo)檢測(cè),本文提出一種改進(jìn)的YOLO v5s模型,主干網(wǎng)絡(luò)中在最大的一層特征圖學(xué)習(xí)時(shí),嵌入卷積注意力機(jī)制模塊,通過通道和空間2個(gè)維度,進(jìn)行自適應(yīng)特征細(xì)化修正。CBAM是輕量級(jí)模塊,不增加時(shí)間開銷的同時(shí),提高小尺度目標(biāo)檢測(cè)能力,首先在通道維度平均池化和最大池化,將產(chǎn)生的特征圖進(jìn)行拼接,在拼接后的特征圖上,使用卷積操作得到最終的空間注意力特征圖;在頸部網(wǎng)絡(luò)中加入空洞空間卷積池化金字塔模塊,融合4個(gè)不同尺度的特征語(yǔ)義信息,增加感受野[13],提高大尺度目標(biāo)的檢測(cè)能力;目標(biāo)檢測(cè)頭負(fù)責(zé)對(duì)特征金字塔進(jìn)行多尺度檢測(cè),因條形碼均為小尺度目標(biāo),而包裹均為大尺度目標(biāo),本文使用k-means聚類得到不同尺寸的先驗(yàn)框[14]。在最大的特征圖上應(yīng)用較小的先驗(yàn)框,主要負(fù)責(zé)條形碼的檢測(cè),在中等和最小的特征圖上應(yīng)用較大的先驗(yàn)框,主要負(fù)責(zé)包裹檢測(cè)。改進(jìn)后的CA-YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)后的CA-YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)條件

本文實(shí)驗(yàn)由單獨(dú)計(jì)算機(jī)完成,數(shù)據(jù)集格式為jpg圖像,計(jì)算機(jī)配置GPU型號(hào)為NVIDIA GeForce GTX 1080 Ti,運(yùn)行內(nèi)存32 G,操作系統(tǒng)為64位Windows10,深度學(xué)習(xí)版本為torch1.8.0、Torchvision0.9.0,Python3.7編程語(yǔ)言,批量尺寸batchsize16,圖像輸入尺寸為640×640,總訓(xùn)練輪數(shù)300,置信度閾值為0.5。

2.2 數(shù)據(jù)采集

本文采用的數(shù)據(jù)集在青島市郵局中心現(xiàn)場(chǎng)獲取,數(shù)據(jù)采集設(shè)備使用?？低暤捻敀咴O(shè)備MV-PD01003-22攝像頭,分辨率為3 072×2 048,在傳送帶包裹掃碼場(chǎng)景下對(duì)包裹和條形碼進(jìn)行識(shí)別處理和匹配對(duì)應(yīng),現(xiàn)場(chǎng)設(shè)備配置4個(gè)攝像頭,視野涵蓋傳送帶的4個(gè)區(qū)域,本實(shí)驗(yàn)主要采用基于設(shè)備視角的的四個(gè)區(qū)域作為實(shí)驗(yàn)數(shù)據(jù)。

采集的數(shù)據(jù)包含包裹與條形碼2個(gè)類別,條形碼狀態(tài)單一,包裹卻有各種形態(tài),大尺度目標(biāo)如圖6所示。由于掃碼攝像頭采集的圖像像素較大,但視野尺度較小,容易出現(xiàn)大面積大尺度包裹溢滿圖像的大尺度情況,每一幀數(shù)據(jù)中的目標(biāo)尺度越大,檢測(cè)的準(zhǔn)確率越低,且所有采集到的均是灰度圖,導(dǎo)致圖像特征嚴(yán)重丟失,對(duì)大面積包裹的目標(biāo)檢測(cè)產(chǎn)生嚴(yán)重影響,大尺度包裹無(wú)法識(shí)別,增加了模型的檢測(cè)難度。

圖6 大尺度目標(biāo)

2.3 數(shù)據(jù)處理

本文主要針對(duì)正對(duì)傳送帶的區(qū)域進(jìn)行實(shí)驗(yàn),由工業(yè)生產(chǎn)線的掃碼設(shè)備取得的JPG格式圖像通過篩選形成包裹與條形碼圖像數(shù)據(jù)集,將2個(gè)類別作為圖像數(shù)據(jù)庫(kù),為增加數(shù)據(jù)多樣性,采集原始圖像共計(jì)8 440幅。為了防止模型出現(xiàn)欠擬合或過擬合現(xiàn)象,隨機(jī)抽選2 000幅測(cè)試集和6 440幅訓(xùn)練和驗(yàn)證樣本,為了排除掃碼時(shí)聚焦、動(dòng)感模糊及過曝光等情況,利用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)樣本進(jìn)行增加噪音、模糊處理及灰度變換,擴(kuò)充數(shù)據(jù)量共10 000幅,增加數(shù)據(jù)多樣性和模擬不同識(shí)別場(chǎng)景,提高模型泛化能力。通過標(biāo)注[15]形成TXT格式數(shù)據(jù)集文件,按比例8∶2劃分訓(xùn)練集和驗(yàn)證集,其中包裹的小尺度、大尺度及滿尺度數(shù)量比例4∶4∶2,條形碼類別均為小尺度,測(cè)試集1 500幅,訓(xùn)練總共迭代300周期,對(duì)不同角度、不同位置及不同尺度的包裹與條形碼數(shù)據(jù)集進(jìn)行檢測(cè)。數(shù)據(jù)增強(qiáng)效果如圖7所示。

圖7 數(shù)據(jù)增強(qiáng)效果

2.4 CA-YOLO v5網(wǎng)絡(luò)的檢測(cè)結(jié)果

本研究基于YOLO v5s網(wǎng)絡(luò),采用ASPP模塊和CBAM注意力機(jī)制進(jìn)行改進(jìn),為證明CA-YOLO v5網(wǎng)絡(luò)的有效性,對(duì)改進(jìn)前后的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行試驗(yàn)對(duì)比分析。在條形碼與包裹數(shù)據(jù)集中,CA-YOLO v5和YOLO v5s網(wǎng)絡(luò)分別對(duì)同一大尺度包裹的圖像進(jìn)行識(shí)別,檢測(cè)結(jié)果對(duì)比如圖8所示。

圖8 檢測(cè)結(jié)果對(duì)比

由圖8可以看出,CA-YOLO v5和YOLO v5s網(wǎng)絡(luò)都能實(shí)現(xiàn)對(duì)小尺度包裹與條形碼的正確識(shí)別,但對(duì)于較大尺度包裹,YOLO v5s網(wǎng)絡(luò)會(huì)出現(xiàn)漏檢錯(cuò)檢,尤其大尺度包裹無(wú)法識(shí)別,尺度越大,檢測(cè)效果越差,而CA-YOLO v5網(wǎng)絡(luò)能夠精準(zhǔn)識(shí)別。

2.5 模型對(duì)比

本文提出的CA-YOLO v5網(wǎng)絡(luò),在時(shí)間開銷[16]較少的情況下,各尺度條形碼的準(zhǔn)確率比YOLO v5s網(wǎng)絡(luò)有所提高,對(duì)于大尺度包裹,改進(jìn)模型前后對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 改進(jìn)模型前后對(duì)比實(shí)驗(yàn)結(jié)果

由表1可以看出,CA-YOLO v5網(wǎng)絡(luò)的準(zhǔn)確率提高了34%,成功解決了大尺度包裹無(wú)法識(shí)別的問題,模型的綜合檢測(cè)精度提高了17.7%,說明CA-YOLO v5網(wǎng)絡(luò)模型檢測(cè)準(zhǔn)確性更高。本研究實(shí)現(xiàn)了包裹與條形碼的匹配對(duì)應(yīng),有效提高了包裹條形碼的檢測(cè)效率。CA-YOLO v5網(wǎng)絡(luò)在大尺度黑色包裹的檢測(cè)中對(duì)包裹的檢測(cè)效果不佳,此類包裹的條形碼之外的區(qū)域與背景很難區(qū)分,在曝光不強(qiáng)時(shí),CA-YOLO v5網(wǎng)絡(luò)可能識(shí)別不到黑色包裹區(qū)域,但可以檢測(cè)到條形碼區(qū)域。

2.6 不同方法的效果對(duì)比

為解決大尺度目標(biāo)無(wú)法識(shí)別問題,本研究分別嘗試SE、CBAM及CA等注意力機(jī)制,或加入新的目標(biāo)檢測(cè)層,將不同方法訓(xùn)練后的模型對(duì)包裹與條形碼進(jìn)行測(cè)試,不同方法的檢測(cè)結(jié)果如表2所示。

表2 不同方法的檢測(cè)結(jié)果

實(shí)驗(yàn)結(jié)果表明,SE和CA注意力機(jī)制都是通道注意力方法,對(duì)于單通道數(shù)據(jù)集改善效果不佳。大尺度目標(biāo)建立的目標(biāo)檢測(cè)層對(duì)大尺度目標(biāo)存在識(shí)別效果,但識(shí)別效果較差,且對(duì)小尺度目標(biāo)的檢測(cè)產(chǎn)生了負(fù)面影響。

3 結(jié)束語(yǔ)

本文通過采用空洞空間卷積池化金字塔結(jié)構(gòu),呈指數(shù)級(jí)增加感受野,消除了灰度圖像特征少的影響。此外,以卷積注意力機(jī)制屏蔽大小尺度之間的特征差異化影響,最終解決了多尺度灰度目標(biāo)識(shí)別問題。為證明本模型的有效性,在自制數(shù)據(jù)集上進(jìn)行了驗(yàn)證。試驗(yàn)結(jié)果表明,與現(xiàn)存的增加目標(biāo)檢測(cè)分類器、基于計(jì)算機(jī)視覺的目標(biāo)識(shí)別等方法相比,本算法在有效增加有效特征的同時(shí),提高了目標(biāo)識(shí)別準(zhǔn)確率,適配于目標(biāo)尺度差異大、特征少的情況。下一步研究將對(duì)模型作改進(jìn)處理,使網(wǎng)絡(luò)模型能夠識(shí)別與背景相似的目標(biāo)。